歸藏(guizang.ai) Profile picture
May 8, 2023 14 tweets 4 min read Read on X
答应大家的AI歌手教程来了,手把手教你训练你自己的AI歌手,主要分为使用模型和训练模型两部分,这里是第一部分如何使用模型生成音乐的部分,主要介绍了音源的处理,模型的使用和后期音轨的合成。
看在藏师傅生病肝教程的份上希望各位多多支持,下面是具体步骤🧶
详细教程和文件下载可以看这里:mp.weixin.qq.com/s/bXD1u6ysYkTE… Image
要使用模型进行推理的话你首先需要一段已经演唱好的声音垫进去,所以我们需要先对你垫进去的声音进行处理。
首先要安装UVR_v5.5.0,完成后我们需要给UVR增加一个模型解压UVR5模型文件将里面的两个文件夹粘贴到安装目录下的Ultimate Vocal Removermodels就行。 Image
在处理之前你需要把你声音的格式转换成WAV格式,因为So-VITS-SVC 4.0只认WAV格式的音频文件,现在处理了后面会省事点。可以用这个工具处理:aconvert.com/cn/audio/mp4-t… Image
处理完音频文件后我们就要开始利用UVR去掉背景音了,一共需要过两次,每次的设置都是不同的,下面两张图分别是两次的参数。 ImageImage
接下来我们就要运行整合包的Web UI来推理声音了,如果你用的其他人的模型的话你需要先把模型文件放进整合包对应的文件夹下面:

首先是模型文件夹下面后缀为pth和pt的两个文件放到整合包的logs44k文件夹下。

之后是模型文件里那个叫config.json的json文件,放到整合包的configs文件夹下面。 Image
接下来我们就可以运行整合包的Web UI了,打开整合包根目录下的【启动webui.bat】这个文件他会自动运行并打开Web UI的网页,经常玩Stable Diffusion的朋友肯定对这个操作不陌生。

下面就是Web UI的界面我们使用模型的时候主要用的是推理这个功能。 Image
之后就是选择我们的模型,如果你刚才已经把模型放到合适的位置的话你现在应该能在下图的两个位置选择到你的模型和配置文件,如果有报错会在输出信息的位置显示。 Image
选择完模型之后我们需要点击加载模型,等待一段时间Loading之后模型会加载完成。Output Message这里会输出加载的结果。 Image
之后就是上传我们处理好的需要垫的音频文件了,把文件拖动到红框位置就行。
接下来是两个比较重要的选项怕【聚类f0】会让输出效果更好,但是如果你的文件是歌声的话不要勾选这个选项,不然会疯狂跑调。【F0均值滤波】主要解决哑音问题,如果你输出的内容有比较明显的哑音的话可以勾选尝试一下。 ImageImage
设置好之后我们点击【音频转换】按钮之后经过一段时间的运算,就可以生成对应的音乐了。
【output audio】的位置就是生成的音频了可以试听,如果觉得OK的话可以,点击右边三个点弹出的下载按钮下载。 ImageImage
我们现在生成的是一段只有人声的干声,这时候我们刚才剥离出来的伴奏就有用了,把两段音频合成就行,我用的剪映,直接把两段音轨拖进去导出就行,也可以加张图片变成视频。 Image
好了模型的使用部分到这里就结束了,理论上你现在如果有孙燕姿的模型的话已经可以生产AI音乐了。垫的音频文件也有一些要求,首先肯定是人声要清晰,伴奏最好少点去的也干净同时效果也会更好。感谢支持。
详细教程和文件可以在这里查看:mp.weixin.qq.com/s/bXD1u6ysYkTE… Image
对了上面林俊杰的模型是我自己炼的,步数比较少,效果没有孙燕姿这个好,轻拍

• • •

Missing some Tweet in this thread? You can try to force a refresh
 

Keep Current with 歸藏(guizang.ai)

歸藏(guizang.ai) Profile picture

Stay in touch and get notified when new unrolls are available from this author!

Read all threads

This Thread may be Removed Anytime!

PDF

Twitter may remove this content at anytime! Save it as PDF for later use!

Try unrolling a thread yourself!

how to unroll video
  1. Follow @ThreadReaderApp to mention us!

  2. From a Twitter thread mention us with a keyword "unroll"
@threadreaderapp unroll

Practice here first or read more on our help page!

More from @op7418

Mar 12
Cognition发布首位AI软件工程师Devin,这个演示相当惊艳。

Devin 是一个自主Agents,它通过使用自己的 shell、代码编辑器和网络浏览器来解决工程任务。

Devin成功通过了知名人工智能公司的实际工程面试,甚至还在 Upwork 上完成了实际工作。

Devin 在无辅助情况下正确解决了 13.86% 的问题,远远超过了之前最先进模型 1.96% 的无辅助和 4.80% 的辅助性能。

它可以学习如何使用不熟悉的技术,可以为成熟的生产资源库做出贡献,可以训练和微调自己的人工智能模型,甚至试着在 Upwork 上给 Devin 提供真实的工作,它也能完成。
这里有关于Devin的详细介绍:
cognition-labs.com/blog
Devin 通过自主学习对应文章生成图片的案例
Read 4 tweets
Feb 29
之前推荐过的国内☁️云服务平台揽睿星舟最近上线了 ComfyUI,他们是真想把这玩意的云服务做好,很适合入门学习。

把常用的 ComfyUI 插件和模型都上传上去了,我把我自己常用的一个相对复杂的 Animatediff 工作流拖进去发现所有的插件和模型都是 OK 的,一键运行。

👇下面也会有启动的教程和地址 Image
你可以在这里使用注册和使用揽睿星舟,通过这个链接会有优惠券,如果你只是想体验的话配合无门槛优惠券充值一块钱就可以用:

我们开始简单的使用教程lanrui-ai.com/register?invit…
登录之后可以点击左侧导航的工作空间,然后点击右侧创建工作空间。 Image
Read 9 tweets
Feb 21
见鬼了,谷歌居然开源LLM模型了,Meta要慌了。

Gemma 采用了和Gemini一样技术的开源LLM,同时质量也比同规模的模型要强。

下面是一些要点:

◈ 两种尺寸的模型权重:Gemma 2B和Gemma 7B。每种尺寸都有预训练和指导调整的变体。

◈ 一个生成式人工智能工具包,为使用Gemma创建更安全的人工智能应用提供指导和必要工具。

◈ 通过原生Keras 3.0为所有主要框架(JAX、PyTorch和TensorFlow)提供推理和监督微调(SFT)的工具链。

◈ 准备好的Colab和Kaggle笔记本,以及与Hugging Face、MaxText、NVIDIA NeMo和TensorRT等流行工具的集成,使得开始使用Gemma变得非常容易。

◈ 预先训练和经过调整的Gemma模型可以在您的笔记本电脑、工作站或Google Cloud上运行,并可以轻松部署到Vertex AI和Google Kubernetes Engine(GKE)。

◈ 跨多个人工智能硬件平台的优化确保了行业领先的性能,包括NVIDIA GPU和Google Cloud TPU。

◈ 允许所有组织进行负责任的商业使用和分发,无论规模大小。

◈未来还会发布Gemma更大模型变体。

了解更多:blog.google/technology/dev…Image
Gemma模型与Gemini共享技术和基础设施组件。

这使得Gemma 2B和7B能够在与其他开放模型相比实现最佳性能。

Gemma在关键基准测试中超越了明显更大的模型。

详细的技术报告在这里:storage.googleapis.com/deepmind-media…
你可以在这里下载和使用Gemma:
kaggle.com/models/google/…
Image
Read 6 tweets
Feb 21
Open AI传奇研究员Andrej Karpathy的新课,教你理解和构建GPT Tokenizer。

他可以把相当复杂的LLM概念用非常好理解的方式讲出来。希望了解LLM的强烈建议听一下他的课,包括一些历史课程。

用GPT-4翻译了一下这节课,感兴趣可以听一下。字幕文件下载和历史课程会放在下面⬇️
补充一下视频介绍:

分词器是大语言模型(LLM)处理流程中一个独立且关键的环节。它们有专属的训练数据集、采用特定的训练算法——字节对编码(Byte Pair Encoding),训练完成后,分词器能够执行两个核心功能:encode() 函数将普通文本字符串转换为词元,而 decode() 函数则能将词元还原为原始文本字符串。在这场讲座中,我们将一步步揭开 OpenAI GPT 系列分词器的构建过程。

我们将发现,许多大语言模型(LLM)表现出的异常行为和问题,其实都源于标记化(tokenization)这一环节。我们会针对这些问题进行详细讨论,探究标记化为何成为问题的关键所在,以及为什么最理想的情况是有人能够找到办法,完全去除这一处理阶段。Image
两个月前他的另一节课《大语言模型简介》非常浅显易懂。

解释了大语言模型的训练过程以及什么是多模态,最后最重要的是LLM的发展方向以及发展路径。

如果你不是专业的机器学习出身又想了解LLM的话这节课是讲的最好的,希望看看。

我人工校对的视频也在后面网盘链接里。
Read 4 tweets
Dec 12, 2023
写个如何用 Ollama 在 Mac 本地跑 LLM,并且用在 Obsidian 上处理自己的笔记和内容的小教程。视频是具体的演示,我把等待时间剪掉了。
我们开始具体的教程🧵:
首先需要去Ollama的网站下载安装包, 下载完之后直接安装然后打开就行。 ollama.ai
Image
之后我们可以在他的 Github 上找到所有的命令,选择一个你需要的复制那个命令,找到你电脑里终端这个软件,然后粘贴刚才的命令,然后回车。比如:ollama run mistral
Github 地址: github.com/jmorganca/olla…
Image
Read 8 tweets
Sep 22, 2023
这个研究有点强的,我们可能获得了另外一种增强Stable Diffusion控制的方法,它允许你使用富文本书写提示词影响画面

比如指定某个提示词的颜色,例如提示词中有长发这个单词,然后你把长发的文字颜色改成了粉色,那么生成图像的头发颜色就会变成粉色

下面我们来看一下它支持的富文本格式和原理🧵
首先你可以通过字体颜色控制生成对象的颜色,比如下面这张图Hair头发的字体颜色被改成粉色的时候生成图像的头发颜色就会变为粉色 Image
然后你可以改变对应提示词单词的字体来赋予图像对应的风格,这个就有点意识流了,全看模型对这个字体的感知,比如下面这这张图的guitar吉他的字体如果是比较放松的就会生成彩色的吉他,如果是古朴的手写体吉他就比较有年代感。 Image
Read 6 tweets

Did Thread Reader help you today?

Support us! We are indie developers!


This site is made by just two indie developers on a laptop doing marketing, support and development! Read more about the story.

Become a Premium Member ($3/month or $30/year) and get exclusive features!

Become Premium

Don't want to be a Premium member but still want to support us?

Make a small donation by buying us coffee ($5) or help with server cost ($10)

Donate via Paypal

Or Donate anonymously using crypto!

Ethereum

0xfe58350B80634f60Fa6Dc149a72b4DFbc17D341E copy

Bitcoin

3ATGMxNzCUFzxpMCHL5sWSt4DVtS8UqXpi copy

Thank you for your support!

Follow Us!

:(