YUAN'Blog |

11kStarChatTTS开源领域最强的文本到语音转换TTS模型

Date: June 1, 2024 | Estimated Reading Time: 5 min | Author: YUAN

1.jpg

11k Star!ChatTTS:开源领域最强的文本到语音转换(TTS)模型!

什么是ChatTTs?

ChatTTS是专门为对话场景设计的文本到语音TTS模型, 在Github上仅4天斩获11.2k star。

2.jpg

ChatTTS是专为对话任务优化,能够支持多种说话人语音中英文混合等。模型还能够预测和控制细粒度的韵律特征,如笑声、停顿和插话等,还能进行更细粒度的调整,如语速、音调和情感等。

ChatTTs文本转语音的演示

该项目将文本转换成语音,效果是这样的:

1. ChatTTS 不仅能说中文,英文也能 hold 住,还支持一些细粒度控制。

- 它允许你加入笑声、说话间的停顿,还有语气词,可玩性很强。

2. 它可以复刻已经逝去的人的绝版声音:

- 想要再听到乔布斯开发布会,随时都可以。

- 听它模仿霉霉的音色,无论是语调还是语气的变化,都挺接近本人,几乎听不出来 AI 味儿。

3. 中英文混说也能拿捏:

- ChatTTS 的语言能力已达到留学生 半英半中的腔调了

以上音频来自 B 站:

https://www.bilibili.com/video/BV1zn4y1o7iV/?share_source=copy_web&vd_source=983ec32a3036bb1cf2699e4fdbce3c28

ChatTTS主要有以下三大 亮点:

  1. 对话式 TTS : ChatTTS针对对话式任务进行了优化,实现了自然流畅的语音合成,同时支持多说话人。

  2. 细粒度控制 : 该模型能够预测和控制细粒度的韵律特征,包括笑声、停顿和插入词等。

  3. 更好的韵律 : ChatTTS在韵律方面超越了大部分开源TTS模型。同时提供预训练模型,支持进一步的研究。

体验地址:

https://huggingface.co/2Noise/ChatTTS

如何使用 ChatTTs ?

接下来,我要分享一个关于在 macOS 上使用 Python 虚拟环境和chattts-fork库进行文本转语音的教程。相信你会喜欢这个功能强大的工具!

首先,我们需要确保你的 macOS 系统已经安装了 Homebrew。如果还没有安装,请先安装 Homebrew。

接下来,我们开始安装 Python 3 和 pip:

1. 打开终端,运行以下命令安装 Python 3:

brew install python  

2. 安装完成后,验证 Python 3 和 pip 是否安装成功:

python3 --version  
pip3 --version  

你应该会看到类似 Python 3.x.x 和 pip 20.x.x(或更高版本)的输出。

现在,我们来创建一个 Python 虚拟环境:

1. 在终端中,导航到你想创建虚拟环境的目录,然后运行以下命令创建虚拟环境:

python3 -m venv venv  

这将创建一个名为 venv 的虚拟环境文件夹。

接下来,激活虚拟环境:

1. 运行以下命令激活刚刚创建的虚拟环境:

source ./venv/bin/activate  

你会看到终端提示符前面出现(venv),表示虚拟环境已经激活。

现在,我们来安装 chattts-fork 库:

1. 在虚拟环境激活状态下,使用 pip 安装 chattts-fork 库:

pip install chattts-fork  

如果你需要使用全局代理,可以在安装前确保代理已经配置好。

好了,现在我们可以开始使用 chattts-fork 进行文本转语音了:

1. 运行以下命令,将”你好你好”转换为语音:

chattts "你好你好"  

2. 你还可以使用固定的种子来生成特定风格的语音。运行以下命令,使用种子 2222 将”我笑他人看不穿”转换为语音:

chattts "我笑他人看不穿" --seed 2222  

使用固定种子可以让生成的语音保持一致。你可以尝试不同的种子,找到你喜欢的声音风格。

通过以上步骤,你已经学会了如何在 macOS 上安装 Python 3 和 pip,创建和激活 Python 虚拟环境,并使用 chattts-fork 库进行文本转语音。希望这个教程对你有帮助!

写在最后

我们直接给大家整了一套免费但却很全面的AI中文资料文档。可以下方扫码,回复“111”免费领取AI中文资料并且进讨论群。

3.jpg 另外扫码加入我的星球,不定期赠送福利或AI资源,持续发布AI最新风向标。与 1500 多位AI爱好者在星球内一起探讨,欢迎加入! 4.jpg