Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

Chat TTS 是什么

Answer

根据搜索结果和我的理解,Chat TTS (Text-to-Speech)是指在聊天或对话系统中集成的文本转语音功能。具体来说:

  1. TTS是一种将文本转换为自然语音的技术,可以让计算机或设备"读出"文字内容。

  2. 在聊天机器人或虚拟助手(如ChatGPT)中集成TTS功能,可以让AI系统不仅以文本形式回复,还能用语音与用户交互。

  3. 例如,ChatGPT的移动应用就集成了TTS功能,允许用户与AI助手进行语音对话。

  4. 高级的AI TTS系统(如ElevenLabs)可以生成非常逼真的人类语音,甚至可以模仿特定人的声音。

  5. Chat TTS技术广泛应用于各种场景,如虚拟客服、智能家居设备、辅助技术等,提升了人机交互的自然度和可访问性。

  6. 一些Chat TTS系统还支持多语言,可以实时将文本转换为不同语言的语音输出。

总的来说,Chat TTS是将文本转语音技术应用于对话系统的一种功能,旨在提供更自然、更便捷的人机交互体验。

Content generated by AI large model, please carefully verify (powered by aily)

References

ChatGPT 是在做什么,为什么它有效?

ChatGPT的具体工程使其相当引人入胜。但是,最终(至少在它可以使用外部工具之前),ChatGPT仅仅从它积累的“传统智慧统计数据”中提取了一些“连贯的文本线索”。但是,其结果有多么类似于人类。正如我所讨论的,这表明了一些至少在科学上非常重要的事情:人类语言(以及背后的思维模式)的结构比我们想象的要简单和更具有“法律属性”。ChatGPT已经隐含地发现了它。但是我们可能可以用语义语法、计算语言等明确地揭示它。ChatGPT在生成文本方面的表现非常出色,结果通常非常接近我们人类所产生的。那么这是否意味着ChatGPT像大脑一样工作呢?它的基本人工神经网络结构最终是基于大脑的理想化模型的。当我们人类生成语言时,许多方面的工作似乎是相当相似的,这似乎是非常可能的。

ChatGPT 是在做什么,为什么它有效?

ChatGPT的基本概念在某种程度上相当简单。从网络、书籍等来源中获取大量人类创作的文本样本。然后训练神经网络生成“类似”的文本。特别是让它能够从“提示”开始,然后继续生成“类似于训练内容”的文本。正如我们所见,ChatGPT中的实际神经网络由非常简单的元素组成,尽管有数十亿个。神经网络的基本操作也非常简单,基本上是为每个新单词(或单词部分)生成“输入”,然后将其“通过其元素”(没有任何循环等)。但是,这个过程能够产生成功地“类似于”网络、书籍等内容的文本,这是非常卓越和出乎意料的。它不仅是连贯的人类语言,而且“说的话”是“遵循其提示”的,利用其“读到”的内容。它并不总是说出“全局意义上的话”(或对应于正确的计算),因为(例如,没有访问Wolfram|Alpha的“计算超能力”)它只是根据训练材料中的“声音类似”的东西“说出”“听起来正确”的东西。

卡尔:终于蹲到ChatTTS增强版整合包,AI视频配角们有了自己的声音~

1.✅对话式TTS:ChatTTS针对对话式任务进行了优化,实现了自然流畅的语音合成,同时支持多说话人。2.✅细粒度控制:该模型能够预测和控制细粒度的韵律特征,包括笑声、停顿和插入词等。3.✅更好的韵律:ChatTTS在韵律方面超越了大部分开源TTS模型,并提供预训练模型。4.❌模型稳定性:自回归模型存在稳定性不足的问题,可能会出现声音突然变成其他人的声音,或者音质突然变差,可以通过多次尝试来寻找更好的音频效果。5.⭕️情感控制:目前发布的模型版本中,情感控制仅限于笑声([laugh])以及一些声音中断([uv_break],[lbreak])。作者计划在未来的版本中开源更多情感控制的功能。几天前,我们还需要在本地和云端安装环境才能运行ChatTTS,玩法较为复杂。如今,陆续出现了在线网站和本地增强整合包。这里给大家介绍一下玩法,首先是网站:我们直接访问https://chattts.com/

Others are asking
我想做一个,基于我个人知识库的chatbot,以供我随时搜索和提问,且优先搜索知识库内的内容而非联网搜索,你有什么建议吗?
以下是为您提供的关于创建基于个人知识库的 chatbot 的建议: 1. 选择合适的平台和工具:例如可以考虑使用飞书智能伙伴创建平台(Aily)或扣子(https://www.coze.cn/home)等。 2. 数据分段储存:由于大模型的上下文长度有限制,需要将上传的资料根据特定符号或字符长度进行分段,如将 8000 字文档按每 800 字分成一个片段储存。 3. 增强检索:当用户输入问题,大模型会根据相似度检索出若干最相关的数据片段,再据此生成答案,这一技术称为 RAG(检索增强生成)。 4. 配置知识库: 在 Bot 内使用知识库: 登录相关平台。 在左侧导航栏的工作区区域,选择进入指定团队。 在 Bots 页面,选择指定 Bot 并进入 Bot 详情页。 在 Bot 编排页面的知识库区域,单击加号图标,添加指定的知识库。 (可选)添加知识库后,可以在自动调用下拉界面内,调整知识库的配置项,如最大召回数量、最小匹配度、调用方式等。 在工作流内使用 Knowledge 节点: 登录相关平台。 在左侧导航栏的工作区区域,选择进入指定团队。 在页面顶部进入工作流页面,并打开指定的工作流。 在左侧基础节点列表内,选择添加 Knowledge 节点。 5. 注意使用限制:单用户最多创建 1000 个知识库,文本类型知识库下最多支持添加 100 个文档,单用户每月最多新增 2GB 数据,累计上限是 10GB。 此外,知识库可以解决大模型幻觉、专业领域知识不足的问题,提升大模型回复的准确率。您可以将知识库直接与 Bot 进行关联用于响应用户回复,也可以在工作流中添加知识库节点,成为工作流中的一环。
2025-04-14
现在我想使用chat gtp,应该如何使用呢
使用 ChatGPT 可以参考以下步骤: 对于产品经理使用 ChatGPT 优化 SQL 代码: 1. 进行原 SQL 输入,让 GPT 对需求有初步理解。 2. 将真实的业务需求场景及现有问题输入给 GPT,通过多轮输入输出强化 GPT 对真实需求的认知。 3. 根据 GPT 给出的新代码不断调试和优化,直至生成满足需求的新代码。例如,按照 GPT 提出的每次更新 1 天数据、创建中间结果表、利用 CASE WHEN 合并查询约束条件等优化建议进行操作。 对于安卓系统安装、订阅 ChatGPT 4: 1. 安装 Google Play:到小米自带的应用商店搜索 Google Play 进行安装,安装好后打开,按照提示登录。 2. 下载安装 ChatGPT:在谷歌商店搜索“ChatGPT”进行下载安装(开发者是 OpenAI)。可能会遇到“google play 未在您所在的地区提供此应用”的问题,可通过在 google play 点按右上角个人资料图标,依次点按:设置>常规>帐号和设备偏好设置>国家/地区和个人资料,添加国内双币信用卡并选美地区来解决。若仍搜不到,可卸载重装 Google Play 并保持梯子 IP 为美。 3. 体验 ChatGPT 3.5 版本:直接登录注册好的 ChatGPT 账号即可。 4. 订阅 GPT4 Plus 版本:先在 Google play 中的【支付和订阅】【支付方式】中绑定银行卡,然后在 ChatGPT 里订阅 Plus。
2025-04-12
chatGPT
ChatGPT 是一种由 OpenAI 开发的基于 GPT(生成式预训练变换器)架构的人工智能模型。 它的工作原理是:从网络、书籍等来源获取大量人类创作的文本样本,然后训练神经网络生成“类似”的文本。特别是能够从“提示”开始,继续生成“类似于训练内容”的文本。 ChatGPT 中的实际神经网络由大量简单元素组成,基本操作是为每个新单词(或单词部分)生成“输入”,然后将其“通过其元素”。 其具体工程相当引人入胜,最终(至少在它可以使用外部工具之前),ChatGPT 仅仅从它积累的“传统智慧统计数据”中提取了一些“连贯的文本线索”。 ChatGPT 基于 OpenAI 最先进的语言模型 gpt3.5turbo。使用 OpenAI 的 API,你可以用它构建自己的应用来做很多事情,比如起草邮件、写 Python 代码、回答关于一组文档的问题、创建会话代理、给软件提供自然语言接口、辅导各种学科、语言翻译、假扮游戏或其他内容的角色等。 目前 ChatGPT 官网有两个版本,分别是 GPT3.5 和 GPT4。GPT3.5 是免费版本,拥有 GPT 账号即可使用,但智能程度不如 GPT4 高,且无法使用 DALL.E3(AI 画图功能)和 GPTs 商店和高级数据分析等插件。想要使用更多功能更智能的 GPT4 需要升级到 PLUS 套餐,收费标准是 20 美金一个月,当然 GPT4 还有团队版和企业版,功能更多、限制更少,但费用也更贵,一般推荐使用 PLUS 套餐。 在注册 ChatGPT 账号之前,建议先注册一个谷歌账号,因为国外很多软件支持谷歌账号一键登录,注册谷歌账号支持国内手机号码和国内邮箱验证,过程简单。
2025-04-12
DEEP SEEK 本地部署(Olama + ChatBox)+私有知识库(cherrystudio)
以下是关于 Deep Seek 本地部署(Olama + ChatBox)+私有知识库(cherrystudio)的相关内容: 一、使用 Docker + RAGFlow + Ollama 搭建个人/企业知识库 1. 将 Ollama 部署的模型接入 GARFlow 返回 RAGFlow 中,打开右上角设置,进入模型提供商,配置 Ollama 相关信息,基础 URL 按要求设置,设置完成后点击确定。 导入一个 embedding 模型用于文本向量化,导入成功后设置系统模型设置,然后返回知识库创建知识库。 进入数据集,导入文件(可设置文件夹当作知识库),导入完毕后解析文件,解析速度取决于本机 GPU 性能,解析好后进行检索测试,测试没问题即可进入聊天界面,助理设置可自行设置。 2. 使用 Ollama 本地部署 DeepSeek 模型 先下载 Ollama 程序,官方网址:https://ollama.com/ 。 下载默认到 C 盘(一般为固态盘,运行速度快),若想修改安装目录到 D 盘,后续会有说明。 下载完右下角会出现 Ollama 图标,打开命令行输入相关命令回车。 若显卡是英伟达 2060Super,可选择 Deepseekr1:14b 的模型,根据自身独立显卡性能下载。 下载速度慢可按 Ctrl+C 强制退出重新下载。 下载完毕后再下载一个嵌入模型,Ollama 的 bge 模型官方网址:https://ollama.com/library/bgem3 ,输入相关命令,下载好后直接退出终端。 二、Flowith 相关报道、采访、使用指南 |标题|发布账号|社媒来源|日期|链接| |||||| |ChatGPT 的对话框过时了?这款 AI 产品提供了一种很新的聊天方式|爱范儿|公众号|2024/04/29|| |Flowith:革新你的工作方式,体验节点式 AI 的超流畅生产力|程序那些事儿|公众号|2024/05/03|| |体验 Flowith:探索人机交互从传统聊天对话到画布式知识管理的转变|AI 兔子洞|公众号|2024/04/22|| |deepseek 服务器繁忙?硅基流不动?看看这篇,内含 18 个平台,可能是最全的 deepseek 方案。|佐佐的 AI 笔记|公众号|2025/02/06|| |满血版自部署 DeepSeekR1+知识库+联网搜索,体验下来可能就只剩下这家了!|字节笔记本|公众号|2025/02/12|| |DeepSeek 让 AI 圈卷出了新高度:Flowith 宣布 DeepSeek R1 现在免费提供!|字节笔记本|公众号|2025/01/27|| |ShowMeAI 周刊 No.15|上周最有讨论度的 6 个 AI 话题:自由画布类产品密集更新、多主体一致成发展趋势、AGI、开源…|ShowMeAI 研究中心|公众号|2025/01/21||
2025-04-10
随着 ChatGPT、Deepseek 等 AI 技术的爆发式发展,人工智能正在加速渗透各行业应用场景,包括茶饮行业。请你对 AI 技术在茶饮行业的影响进行研究分析,并提出 AI 技术可以在连锁奶茶店如何应用的设想。
以下是关于 AI 技术在茶饮行业的影响分析及在连锁奶茶店应用的设想: 影响分析: 1. 提升运营效率:通过自动化流程和智能预测,优化库存管理、员工排班等环节。 2. 改善客户体验:利用智能客服快速响应顾客咨询,提供个性化推荐。 3. 精准营销:基于大数据分析顾客偏好,制定更有针对性的营销策略。 应用设想: 1. 智能点单系统:根据顾客的历史订单和偏好,为其推荐饮品和搭配。 2. 库存管理优化:借助 AI 预测销售趋势,精准控制原材料库存。 3. 员工培训辅助:利用虚拟培训工具,提升员工的服务技能和产品知识。 4. 营销决策支持:通过数据分析,确定最佳的促销活动和推广渠道。 目前的知识库中,相关的具体研究报告主要有: 1. 浙江大学:《DeepSeek 技术溯源及前沿探索朱强》(2025/03/19),介绍了语言模型从基于统计的 Ngram 到 Transformer 的技术演化,以及大模型的发展,如 GPT 系列。 2. 浙江大学:《DeepSeek:回望 AI 三大主义与加强通识教育报告》(2025/03/05),围绕人工智能展开,介绍其发展历程、三大主义、技术进展、应用成果以及教育举措。 3. 清华大学:《气象人工智能技术与应用报告》(2024/12/25),围绕气象人工智能展开,介绍了其发展和应用情况。 如需下载这些研究报告,可。
2025-04-09
AI chatbot、agent、copilot区别
AI chatbot、agent、copilot 主要有以下区别: 1. 定义和角色: Copilot:翻译成副驾驶、助手,在帮助用户解决问题时起辅助作用。 Agent:更像主驾驶、智能体,可根据任务目标自主思考和行动,具有更强的独立性和执行复杂任务的能力。 Chatbot:具备基本对话能力,主要依赖预设脚本和关键词匹配,用于客户服务和简单查询响应。 2. 核心功能: Copilot:更多地依赖于人类的指导和提示来完成任务,功能很大程度上局限于在给定框架内工作。 Agent:具有更高的自主性和决策能力,能够根据目标自主规划整个处理流程,并根据外部反馈进行自我迭代和调整。 3. 流程决策: Copilot:处理流程往往依赖于人类确定的静态流程,参与更多是在局部环节。 Agent:解决问题的流程由 AI 自主确定,是动态的,不仅可以自行规划任务步骤,还能根据执行过程中的反馈动态调整流程。 4. 应用范围: Copilot:主要用于处理简单、特定的任务,更多是作为工具或助手存在,需要人类引导和监督。 Agent:能够处理复杂、大型的任务,并在 LLM 薄弱的阶段使用工具或 API 等进行增强。 5. 开发重点: Copilot:主要依赖于 LLM 的性能,开发重点在于 Prompt Engineering。 Agent:同样依赖于 LLM 的性能,但开发重点在于 Flow Engineering,即在假定 LLM 足够强大的基础上,把外围的流程和框架系统化。 以下是一些 Agent 构建平台: 1. Coze:新一代一站式 AI Bot 开发平台,适用于构建基于 AI 模型的各类问答 Bot,集成丰富插件工具。 2. Mircosoft 的 Copilot Studio:主要功能包括外挂数据、定义流程、调用 API 和操作,以及部署 Copilot 到各种渠道。 3. 文心智能体:百度推出的基于文心大模型的智能体平台,支持开发者根据需求打造产品能力。 4. MindOS 的 Agent 平台:允许用户定义 Agent 的个性、动机、知识,以及访问第三方数据和服务或执行工作流。 5. 斑头雁:2B 基于企业知识库构建专属 AI Agent 的平台,适用于多种场景,提供多种成熟模板。 6. 钉钉 AI 超级助理:依托钉钉强大的场景和数据优势,在处理高频工作场景方面表现出色。 以上信息由 AI 大模型生成,请仔细甄别。
2025-04-07
tts
语音合成(Text to Speech,TTS)是指将文本通过一系列的信号处理转换成“人造”语音。 技术原理: 传统的语音合成技术一般会经过以下三个步骤: 1. 文本与韵律分析:先将文本分词,标明每个字的发音以及重音、停顿等韵律信息,然后提取文本的特征,生成特征向量。 2. 声学处理:通过声学模型将文本特征向量映射到声学特征向量。 3. 声音合成:使用声码器将声学特征向量通过反变换生成声音波形,然后依次拼接得到整个文本的合成语音。在反变换过程中,可以调整参数,从而改变合成语音的音色、语调、语速等。 参考资料: 出门问问的语音合成(TTS)API: 1. 接口描述: 接口请求域名:https://open.mobvoi.com/api/tts/v1 接口请求频率限制:5 次/秒 应用场景:在视频 APP 中作为配音解说;小说 App 完成有声阅读,移动 App 语音播报新闻;智能设备语音提醒;车载导航语音合成的个性化语音播报等。 提供多种方言和风格:包括普通话、台湾腔、粤语、四川话、东北话等多种方言,数百个发音人,上千种风格,满足客户在不同场景的选择需求。实时合成支持 SSML,语法详见 SSML 标记语言。 2. 请求参数: HTTP Method:支持 POST 请求 调用参数及说明: 字段名:text,必填,类型为 String,要合成的文本内容,限制为 1000 字符。支持 ssml 标记语言,使用说明见附录 3。 字段名:appkey,必填,类型为 String,开发者在 AI 开放平台上申请的 appkey。 字段名:signature,必填,类型为 String,签名,通过“appkey+secret+timestamp”进行 md5 加密,得到的 32 位 MD5 值。其中加号也参与 MD5 的计算。每次请求实时计算签名,签名有效期为 10 分钟。 字段名:timestamp,必填,类型为 Long,当前时间戳,单位为秒。 字段名:speaker,否,类型为 String,合成音频指定发音人,默认值:cissy_meet,其他发音人传值及计费价格请参考声音商店。 字段名:audio_type,否,类型为 String,合成音频的格式,默认值:mp3,可选值:pcm/mp3/speexwb10/wav,只支持这四种格式中的一种。 字段名:speed,否,类型为 Float,发音人合成的语速,支持小数点后两位,默认值:1.0,可选值:0.5 2.0。 Request Header 设置
2025-04-14
适合客户端使用的 tts 模型有什么
以下是一些适合客户端使用的 TTS 模型: 1. Fish Speech:语音处理接近人类水平,约十五万小时三语数据,对中文支持完美。开发者为 fishaudio,具有亿级参数,高效轻量,可在个人设备上运行和微调,适合作为私人语音助手。详细介绍及更多演示:https://xiaohu.ai/p/10779 ,GitHub:https://github.com/fishaudio/fishspeech 。 2. GPTSoVITS:只需 1 分钟语音即可训练一个自己的 TTS 模型,是一个声音克隆和文本到语音转换的开源 Python RAG 框架。5 秒数据就能模仿,1 分钟的声音数据就能训练出高质量的 TTS 模型,完美克隆声音。支持零样本 TTS、少量样本训练、跨语言支持、易于使用的界面等。GitHub: 。
2025-03-17
spark tts
SparkTTS 是基于 Qwen2.5 的高效文本转语音(TTS)系统,具有以下特点: 1. 超越现有 TTS,结合 Qwen2.5 进行端到端生成。 2. 支持细粒度语音控制,包括性别、音调、语速等自定义参数。 3. 具备零样本语音克隆功能,无需目标声音样本,即可生成个性化高质量声音。 4. 采用 BiCodec 编码架构,简化流程,提高推理效率。 5. 与 Qwen2.5 LLM 集成,可直接通过 LLM 处理 TTS 任务,无需额外声学模型。
2025-03-11
tts
语音合成(Text to Speech,TTS)是指将文本通过一系列的信号处理转换成“人造”语音。 技术原理: 1. 文本与韵律分析:先将文本分词,标明每个字的发音以及重音、停顿等韵律信息,然后提取文本的特征,生成特征向量。 2. 声学处理:通过声学模型将文本特征向量映射到声学特征向量。 3. 声音合成:使用声码器将声学特征向量通过反变换生成声音波形,然后依次拼接得到整个文本的合成语音。在反变换过程中,可以调整参数,从而改变合成语音的音色、语调、语速等。 参考资料: 出门问问的语音合成(TTS)API: 接口请求域名:https://open.mobvoi.com/api/tts/v1 接口请求频率限制:5 次/秒 应用场景:在视频 APP 中作为配音解说;小说 App 完成有声阅读,移动 App 语音播报新闻;智能设备语音提醒;车载导航语音合成的个性化语音播报等。 提供多种方言和风格:包括普通话、台湾腔、粤语、四川话、东北话等多种方言,数百个发音人,上千种风格,满足客户在不同场景的选择需求。实时合成支持 SSML,语法详见 SSML 标记语言。 请求参数: HTTP Method:支持 POST 请求 调用参数及说明: 字段名:text,必填,类型为 String,要合成的文本内容,限制为 1000 字符。支持 ssml 标记语言,使用说明见附录 3。 字段名:appkey,必填,类型为 String,开发者在 AI 开放平台上申请的 appkey。 字段名:signature,必填,类型为 String,签名,通过“appkey+secret+timestamp”进行 md5 加密,得到的 32 位 MD5 值。其中加号也参与 MD5 的计算。每次请求实时计算签名,签名有效期为 10 分钟。 字段名:timestamp,必填,类型为 Long,当前时间戳,单位为秒。 字段名:speaker,否,类型为 String,合成音频指定发音人,默认值:cissy_meet,其他发音人传值及计费价格请参考声音商店。 字段名:audio_type,否,类型为 String,合成音频的格式,默认值:mp3,可选值:pcm/mp3/speexwb10/wav,只支持这四种格式中的一种。 字段名:speed,否,类型为 Float,发音人合成的语速,支持小数点后两位,默认值:1.0,可选值:0.5 2.0。 Request Header 设置
2025-02-28
TTS
语音合成(Text to Speech,TTS)是指将文本通过一系列的信号处理转换成“人造”语音。 技术原理: 1. 文本与韵律分析:先将文本分词,标明每个字的发音以及重音、停顿等韵律信息,然后提取文本的特征,生成特征向量。 2. 声学处理:通过声学模型将文本特征向量映射到声学特征向量。 3. 声音合成:使用声码器将声学特征向量通过反变换生成声音波形,然后依次拼接得到整个文本的合成语音。在反变换过程中,可以调整参数,从而改变合成语音的音色、语调、语速等。 参考资料: 出门问问的语音合成(TTS)API: 接口描述: 接口请求域名:https://open.mobvoi.com/api/tts/v1 接口请求频率限制:5 次/秒 可以将任意文本转化为语音,应用场景包括视频 APP 配音解说、小说 App 有声阅读、移动 App 语音播报新闻、智能设备语音提醒、车载导航语音合成的个性化语音播报等。提供了普通话、台湾腔、粤语、四川话、东北话等多种方言,数百个发音人,上千种风格。 请求参数: HTTP Method:支持 POST 请求 调用参数及说明: 字段名:text,必填,类型为 String,要合成的文本内容,限制为 1000 字符。支持 ssml 标记语言,使用说明见附录 3。 字段名:appkey,必填,类型为 String,开发者在 AI 开放平台上申请的 appkey。 字段名:signature,必填,类型为 String,签名,通过“appkey+secret+timestamp”进行 md5 加密,得到的 32 位 MD5 值。每次请求实时计算签名,签名有效期为 10 分钟。 字段名:timestamp,必填,类型为 Long,当前时间戳,单位为秒。 字段名:speaker,否,类型为 String,合成音频指定发音人,默认值:cissy_meet,其他发音人传值及计费价格请参考声音商店。 字段名:audio_type,否,类型为 String,合成音频的格式,默认值:mp3,可选值:pcm/mp3/speexwb10/wav,只支持这四种格式中的一种。 字段名:speed,否,类型为 Float,发音人合成的语速,支持小数点后两位,默认值:1.0,可选值:0.5 2.0。 Request Header 设置
2025-02-14
推荐免费的tts公有模型站点,需要支持中文,克隆自己的声音
以下为您推荐支持中文且能克隆自己声音的免费 TTS 公有模型站点: GPTSoVITS: 只需 1 分钟语音即可训练一个自己的 TTS 模型。 5 秒数据就能模仿您,1 分钟的声音数据就能训练出一个高质量的 TTS 模型,完美克隆您的声音,且适配中文,界面易用。 主要特点: 零样本 TTS:输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练:只需 1 分钟的训练数据即可微调模型,提高声音相似度和真实感。模仿出来的声音会更加接近原声,听起来更自然。 跨语言支持:支持与训练数据集不同语言的推理,目前支持英语、日语和中文。 易于使用的界面:集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具,帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统:项目可以在不同的操作系统上安装和运行,包括 Windows。 预训练模型:项目提供了一些已经训练好的模型,您可以直接下载使用。 GitHub: 视频教程: 需要注意的是,Stuart 模型存在一些问题: 语音生成基本功能方面: 支持的语音时长不超过 30 秒,超过 30 秒的需要特别修复。 某些 audio seed 在念某些语句时会丢失一些语句。 Refine 过程中有些字会被丢失,比如“儿童节”在大概率会被 refine 成“童节”,丢失一个“儿”字。解决方法是跳过自动 refine,以手动修改文本的方式来控制停顿。 即使同一个 audio seed,如果使用不同的语句分段方式,或者不同的 text seed,生成的音色也不是很稳定,会给人感觉不是同一个人的声音。 代码 Bug: uv_break 等提示词可能会在 refine 之后缺少,甚至有时候在有中括号的情况下也会被念出来。 没提供微调 SFT 的接口。 本模型特别申明:不支持商用,仅用于学术研究。在生成的语音内,作者加了听不见的噪音水印,可以很容易的被检测出来是他的模型生成的语音。ChatTTS 还没放出训练代码无法自己克隆声音,作者还只放出了 4w 小时训练的版本,确保这个模型的声音能被 AI 检测出来。作者还留着一个 10w 小时训练数据的版本。
2025-02-07