Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

文生音频

Answer

以下是关于文生音频的相关内容：

  • 工具教程：清影提供了多种文生视频的示例，如冰山恶龙、蘑菇变小熊、末日宇航员、粉红小怪物、猎豹小憩等，每个示例都有详细的描述和对应的视频链接。
  • AI 音效工具：包括作者为 KEEN 的相关内容，如 Audiobox 是 Meta 的新音频生成基础研究模型，可结合语音输入和自然语言文本提示生成语音和声音效果；还有 Stable Audio 以及图像生成配乐模型（MAGNet，AudioLDM，audiogen）等相关链接和介绍。
  • 乐理篇：声音和音乐的基础提到音乐创作有主观性和规律性，目前龙头的文生音乐软件如 Suno、Uido 等在简单场景有使用价值，但在音乐创作上存在提示词控制有限、创作丰富度不够等问题。同时提到 Colab 上有增强音质的脚本，但不如现有的音频处理工具，调参较难。
Content generated by AI large model, please carefully verify (powered by aily)

References

工具教程：清影

|文生视频|视频（纯享版）|视频（配音版）|PROMPT||-|-|-|-||1、冰山恶龙|[1.冰山恶龙.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/LX16bSbsKomgb3x5D9LcTqJDnKb?allow_redirect=1)|[1.冰山恶龙（音乐版）.mov](https://bytedance.feishu.cn/space/api/box/stream/download/all/Pcd0b0tWVoU126xVgRIcSrWwnOy?allow_redirect=1)|低角度向上推进，缓缓抬头，冰山上突然出现一条恶龙，然后恶龙发现你，冲向你。好莱坞电影风||2、蘑菇变小熊|[badd49fb-bbdc-593d-b6b2-d0af0b18d9c9_0.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/EMszbwWZuoCKTOx8SWGcsToLnTg?allow_redirect=1)|[2.蘑菇变小熊（音乐版）.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/R29obTvQeo9FPYxj2hccN19ynYb?allow_redirect=1)|蘑菇变成小熊||3、末日宇航员|[3.末日宇航员.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/AHdgbSinNoiwbxxpebjcpn90nve?allow_redirect=1)|[3.末日宇航员（音乐版）.mov](https://bytedance.feishu.cn/space/api/box/stream/download/all/QuytbPMYjoyZPbxW8e9cE0L9nxd?allow_redirect=1)|末日来临，穿着宇航服的航天员缓缓朝着飞船走去，眼神中透露着对地球的不舍，注意细节刻画，废土风||4、粉红小怪物|[4.粉红小怪物.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/FwxqbljhSoF1OWxBCnScyF47n6g?allow_redirect=1)|[4.粉红小怪物（音乐版）.mov](https://bytedance.feishu.cn/space/api/box/stream/download/all/C3bqbfSHfoVQUDxedsncQOYJnMc?allow_redirect=1)|动画场景，展示一个粉色的毛绒绒的小怪物抱着一块很大的芝士在吃，3d风格，需要注重画面的细节，小怪物的神情充满喜悦，表现出顽皮天真的样子。温暖的颜色和氛围的灯光。||5、猎豹小憩|[5.猎豹小憩.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/FaEWbu0JkoSEcUxEUI0cjk92nWd?allow_redirect=1)|[5.猎豹小憩（音乐版）.mov](https://bytedance.feishu.cn/space/api/box/stream/download/all/EE09beBgGoaXI5xvjf4ccy7Cnok?allow_redirect=1)|写实描绘，近距离，猎豹卧在地上睡觉，身体微微起伏|

AI音效工具

作者：KEEN原文：[AI配乐工具](https://i0x94xzpjmh.feishu.cn/docx/S5iydQBXhoMt3rxZ2qqc8MP6nsh)[heading2]Audiobox[content]https://audiobox.metademolab.com/Audiobox是Meta的新音频生成基础研究模型。它可以结合使用语音输入和自然语言文本提示来生成语音和声音效果，从而可以轻松地为各种用例创建自定义音频。[heading2]Stable Audio[content]https://www.stableaudio.com/使用下面的GPTs生成对应的提示词https://chat.openai.com/g/g-jAr0hpLsL-stableaudiogpt[heading2]图像生成配乐模型（MAGNet，AudioLDM，audiogen）[content]https://huggingface.co/spaces/fffiloni/Image2SFX-comparison[heading2]audiogen[content]文生音乐，文生拟音，在discord上使用，但效果不稳定https://discord.gg/wUuF5Uh2pR

乐理篇：声音和音乐的基础

作者：吵爷[heading1]前言[content]音乐创作相对来说是一个比较主观、感性的过程，具有非常多的不确定性。但同时音乐也具备非常强的规律性，因此有时非常复杂的音乐，听起来并不杂乱，而是给人非常直观的韵律感。后来和一些专业做音乐的朋友聊过一阵，目前龙头的文生音乐软件Suno，Uido等，对于比较简单的广告BGM，游戏配乐等使用场景，已经有非常大的使用价值，但在音乐创作上还差的很远。首先是提示词的控制：Suno除了歌词部分外，音乐风格提示词只有120个字符，能够描述和理解的关键词也非常有限，其次就是Suno的创作丰富度还是很有限，写出来的旋律相对很单调，乍一听可能还可以，但很难一直想听下去。然而行业在肉眼可见的速度增长，未来也许我们能够更加可控的进行音乐创作。在技术还没有准备好之前，如果大家喜欢这一块，可以花一些时间来稍微补充乐理相关的一些知识，配合前面的音乐流派风格prompt食用，对自己生成的音乐有更好的理解。Colab上写了一个增强音质的脚本，Suno输出的音乐可以丢进去，输出44.1khz采样率和320kpbs码率的文件，不如现有的音频处理工具。。。调参实在太难了https://colab.research.google.com/drive/1y0kyNoVNDbs1VNKR6kxAr2wsV-QWVu0-#scrollTo=AFAmnxAkkWk9

Others are asking
AI文生视频
以下是关于文字生成视频（文生视频）的相关信息： 一些提供文生视频功能的产品： Pika：擅长动画制作，支持视频编辑。 SVD：Stable Diffusion 的插件，可在图片基础上生成视频。 Runway：老牌工具，提供实时涂抹修改视频功能，但收费。 Kaiber：视频转视频 AI，能将原视频转换成各种风格。 Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 更多相关网站可查看：https://www.waytoagi.com/category/38 。 制作 5 秒单镜头文生视频的实操步骤（以梦 AI 为例）： 进入平台：打开梦 AI 网站并登录，新用户有积分可免费体验。 输入提示词：涵盖景别、主体、环境、光线、动作、运镜等描述。 选择参数并点击生成：确认提示词无误后，选择模型、画面比例，点击「生成」按钮。 预览与下载：生成完毕后预览视频，满意则下载保存，不理想可调整提示词再试。 视频模型 Sora：OpenAI 发布的首款文生视频模型，能根据文字指令创造逼真且充满想象力的场景，可生成长达 1 分钟的一镜到底超长视频，视频中的人物和镜头具有惊人的一致性和稳定性。
2025-04-20
论文生成
以下是关于论文生成的相关信息： Deepseek V3 案例：有人用 Claude 做了一系列各种风格卡片的提示词，并在 V3 上进行尝试，效果不错。还有人把论文变成可视化。 ChatGPT 文本生成：以“词”为单位进行文本生成，存在随机性，有特定的“温度”参数控制较低排名单词的使用频率，对于文章生成“温度”为 0.8 效果较好。 论文写作的 AI 产品： 文献管理和搜索：Zotero 可自动提取文献信息，Semantic Scholar 是 AI 驱动的学术搜索引擎。 内容生成和辅助写作：Grammarly 提供文本校对等帮助，Quillbot 可重写和摘要。 研究和数据分析：Google Colab 支持 AI 和机器学习研究，Knitro 用于数学建模和优化。 论文结构和格式：LaTeX 结合自动化和模板处理格式，Overleaf 是在线 LaTeX 编辑器。 研究伦理和抄袭检测：Turnitin 和 Crossref Similarity Check 检测抄袭。 使用这些工具时要结合自身需求和写作风格，并仔细甄别内容。
2025-04-13
文生图
以下是关于文生图的简易上手教程： 1. 定主题：确定您需要生成的图片的主题、风格和要表达的信息。 2. 选择基础模型 Checkpoint：根据主题选择内容贴近的模型，如麦橘、墨幽的系列模型，如麦橘写实、麦橘男团、墨幽人造人等。 3. 选择 lora：在生成内容基础上，寻找重叠的 lora 以控制图片效果和质量，可参考广场上好看的帖子。 4. ControlNet：可控制图片中特定图像，如人物姿态、生成特定文字等，属于高阶技能。 5. 局部重绘：下篇再教。 6. 设置 VAE：无脑选择 840000 即可。 7. Prompt 提示词：用英文写想要 AI 生成的内容，使用单词和短语组合，用英文半角逗号隔开，不用管语法和长句。 8. 负向提示词 Negative Prompt：用英文写想要 AI 避免产生的内容，同样是单词和短语组合，用英文半角逗号隔开，不用管语法。 9. 采样算法：一般选 DPM++2M Karras 较多，也可参考 checkpoint 详情页上模型作者推荐的采样器。 10. 采样次数：选 DPM++2M Karras 时，采样次数一般在 30 40 之间。 11. 尺寸：根据个人喜好和需求选择。 以下是一些常见的文生图工具和模型： 1. 腾讯混元 2. luma 3. Recraft 4. 文生图大模型 V2.1L（美感版） 5. 美图奇想 5.0 6. midjourney 7. 快手可图 8. Flux.1.1 9. Stable Diffusion 3.5 Large 10. Imagen 3 网页版
2025-04-12
文生图工具
以下是关于文生图工具的相关信息： 常见的文生图工具包括： DALL·E：由 OpenAI 推出，能根据输入的文本描述生成逼真图片。 StableDiffusion：开源工具，可生成高质量图片，支持多种模型和算法。 MidJourney：因高质量图像生成效果和友好界面在创意设计人群中受欢迎。 更多文生图工具可在 WaytoAGI 网站（https://www.waytoagi.com/category/104）查看。 Stability AI 推出的基于 Discord 的媒体生成和编辑工具的文生图使用方法： 点击链接进入官方 DISCORD 服务器：https://discord.com/invite/stablediffusion 。 进入 ARTISAN 频道，任意选择一个频道。 输入/dream 会提示没有权限，点击链接，注册登录，填写信用卡信息以及地址，提交后可免费试用三天，三天后开始收费。 输入/dream 提示词，和 MJ 类似，可选参数有五类，包括 prompt（提示词，正常文字输入，必填项）、negative_prompt（负面提示词，填写负面提示词，选填项）、seed（种子值，可以自己填，选填项）、aspect（长宽比，选填项）、model（模型选择，SD3，Core 两种可选，选填项）、Images（张数，14 张，选填项）。完成后选择其中一张。 Tusiart 文生图的简易上手教程： 定主题：确定生成图片的主题、风格和表达的信息。 选择基础模型 Checkpoint：根据主题找内容贴近的 checkpoint，如麦橘、墨幽的系列模型。 选择 lora：寻找内容重叠的 lora 控制图片效果及质量。 ControlNet：控制图片中特定图像，如人物姿态、生成特定文字、艺术化二维码等。 局部重绘：下篇再教。 设置 VAE：无脑选择 840000 。 Prompt 提示词：用英文写需求，单词和短语组合，用英文半角逗号隔开。 负向提示词 Negative Prompt：用英文写避免产生的内容，单词和短语组合，用英文半角逗号隔开。 采样算法：一般选 DPM++2M Karras，也可参考模型作者推荐的采样器。 采样次数：选 DPM++2M Karras 时，采样次数在 30 40 之间。 尺寸：根据个人喜好和需求选择。
2025-04-12
文生图大模型排名
以下是文生图大模型的排名（从高到低）： 1. Imagen 3：真实感满分，指令遵从强。 2. Recraft：真实感强，风格泛化很好，指令遵从较好（会受风格影响）。 3. Midjourney：风格化强，艺术感在线，但会失真，指令遵从较差。 4. 快手可图：影视场景能用，风格化较差。 5. Flux.1.1：真实感强，需要搭配 Lora 使用。 6. 文生图大模型 V2.1L（美感版）：影视感强，但会有点油腻，细节不够，容易糊脸。 7. Luma：影视感强，但风格单一，糊。 8. 美图奇想 5.0：AI 油腻感重。 9. 腾讯混元：AI 油腻感重，影视感弱，空间结构不准。 10. SD 3.5 Large：崩。
2025-04-12
论文生成提示词
以下是为您整理的关于论文生成提示词的相关内容： 1. 在关于 DALL·E 3 论文的研究中，提示词包括： 给评分员提供完整的图像描述内容，要求评分员选择更符合文本描述的图像。 让评分员想象自己正在借助工具根据文本生成图像，并选择希望看到的图像。 让评分员从人的身体部位、面部和姿势、对象的位置等方面判断图像的连贯性。 但 DALL·E 3 仍存在空间感知不佳、构建文本描述生成器时的功能不可靠、生成的图片在重要细节上产生幻觉等问题。 2. 云舒为读懂 Claude 论文使用的提示词： “论文深度剖析导师”提示词，可用于深度理解文本，如解读公众号文章、专业论文、书籍、在线课程等。 还可用于求职分析，拆解岗位描述并定制求职攻略，甚至作为自我介绍的“测谎仪”。 希望以上内容对您有所帮助。
2025-04-10
ai音频排名
以下是关于 AI 音频排名的相关信息： 生成式 AI 季度数据报告 2024 年 1 3 月： 音频大类： 2023 年 4 月： 月访问量为 3838.1 万，Eleven Labs 以 814 万的访问量位居第一，占赛道月总访问量的 21.2%。Speechify 和 Murf AI 分别以 681 万和 431 万的访问量位列二、三，分别占赛道月总访问量的 17.7%和 11.2%。 2024 年 3 月： 月访问量增长至 5016.3 万，Eleven Labs 以 1962 万的访问量继续保持第一，占赛道月总访问量的 39.1%。TTSMaker 和 Speechify 分别以 418 万和 706 万的访问量位列二、三，分别占赛道月总访问量的 8.3%和 14.1%。 文字转音频辅助榜单： 2023 年 4 月访问量 Top10 可通过 aiwatch.ai 查看。 2023 年 4 月 2024 年 3 月月访问量增量 Top10 可通过 aiwatch.ai 查看。 音频编辑辅助榜单： 2023 年 4 月：月访问量为 1374 万，Adobe Podcast 以 595 万的访问量位居第一，占赛道月总访问量的 43.3%。Lalal.ai 和 The New Riverside 分别以 204 万和 198 万的访问量位列二、三，分别占赛道月总访问量的 14.8%和 14.4%。 2024 年 3 月：月访问量增长至 2136.8 万，Adobe Podcast 以 467 万的访问量继续保持第一，占赛道月总访问量的 21.9%。The New Riverside 和 Moises 分别以 357 万和 267 万的访问量位列二、三，分别占赛道月总访问量的 16.7%和 12.5%。近一年单月访问量增加了 762.8 万，年增长率为 55.5%。Adobe Podcast 的访问量减少了 128 万，而 The New Riverside 的访问量增长了 159 万。The New Riverside 的增长可能源于其提供的高质量音频编辑功能。 2023 年 4 月 2024 年 3 月月访问量减量 Top5 可通过 aiwatch.ai 查看。 赛道天花板潜力：77 亿$，对标公司：Notion、微软。总体趋势为快速增长，月平均增速 120 万，原生产品占比高。 赛博月刊@25 年 2 月：AI 行业大事记：AI 音频在去年跨越了真假难辨的临界点，成为继图像领域之后，第二条被资本看好的 AI 赛道。
2025-04-14
ai音频
以下是关于 AI 音频的相关信息： MiniMax Audio 发布全新 Speech02 语音模型，提升语音合成质量。 人工智能音频初创公司包括： ：为所有人提供开放的语音技术。 ：基于 AI 的语音引擎能够模仿人类语音的情感和韵律。 ：基于 NLP 的最先进文本和音频编辑平台，内置数百种 AI 声音。 ：使用突触技术和脑机接口将想象的声音转化为合成 MIDI 乐器的脑控仪器。 ：为出版商和创作者开发最具吸引力的 AI 语音软件。 ：Wondercraft 使用户能够使用文本转语音技术生成播客。 ：基于生成机器学习模型构建内容创作的未来。 ：从网页仪表板或 VST 插件生成录音室质量的 AI 声音并训练 AI 语音模型。 ：演员优先、数字双重声音由最新的 AI 技术驱动，确保高效、真实和符合伦理。 在去年，AI 音频跨越了真假难辨的临界点，成为继图像领域之后，被资本看好的第二条 AI 赛道。
2025-04-14
推荐一下从文本生成播客音频的AI 工具
以下是一些可以从文本生成播客音频的 AI 工具： ：为所有人提供开放的语音技术。 ：基于 AI 的语音引擎能够模仿人类语音的情感和韵律。 ：基于 NLP 的最先进文本和音频编辑平台，内置数百种 AI 声音。 ：使用突触技术和脑机接口将想象的声音转化为合成 MIDI 乐器的脑控仪器。 ：为出版商和创作者开发最具吸引力的 AI 语音软件。 ：Wondercraft 使用户能够使用文本转语音技术生成播客。 ：基于生成机器学习模型构建内容创作的未来。 ：从网页仪表板或 VST 插件生成录音室质量的 AI 声音并训练 AI 语音模型。 此外，还有 NotebookLlama：Meta 的播客生成教程，它使用 Llama 模型从 PDF 中提取文本，生成干净的.txt 文件，转化文本为播客转录，创造富有创意的内容，对转录进行戏剧化处理，提高互动性和吸引力，最终将文本转换为播客音频，支持多种 TTS 模型。详细介绍：
2025-04-12
音频总结的AI有哪些
以下是一些关于音频总结的 AI 相关内容： 在智能纪要方面，AI 音乐创作通过输入更高级词汇与 AI 音乐对话能产生更好效果，有相关版块、挑战、分享会和教程，可加入 AI 音乐社区。数字人语音合成介绍了声音克隆技术，常用的是 JPT service。 总结类 AI 工具方面，如 BibiGPT·AI 音视频内容一键总结（https://b.jimmylv.cn/）、15 个值得一试的 YouTube 视频摘要 AI 工具（https://nealschaffer.com/youtubevideosummarizerai/）、summarize.tech:AIpowered video summaries（https://www.summarize.tech/）。 在生成式 AI 季度数据报告中，会议总结赛道可能因远程工作和在线会议普及而需求增加，Otter AI 作为领先产品保持稳定增长。其中 2023 年 4 月到 2024 年 3 月，赛道月访问总量有变化，如 2023 年 4 月约 1314.6 万，2024 年 3 月增至 2146.3 万。同时还有相关的榜单数据，如 23 年 4 月访问量 Top10 等。
2025-04-11
音频去人声
以下是一些关于音频去人声的相关信息： ：可以从歌曲中移除人声并分离鼓点、贝斯和其他乐器。 ：使用 AI 工具移除音轨，转换为 MIDI，并创建高质量的混音和混搭。 在游戏 PV《追光者》的制作中，利用了一款分离人声的 AI 软件，能够将人声从背景音乐中分离出来，并对一些游戏宣传的音乐进行了人声去除和剪辑处理。 在基于 Sovits 的声音训练及推理中，去混响可通过增加减少和伪影平滑的数值来调整效果，以耳朵为准，预听感受效果合适后渲染应用到整首歌。去杂音方面，对于非主人公的声音，如一次性出现的掌声、笑声、欢呼声，选中对应音轨右键渲染静音即可；重复出现且有一定相似性的，可选中查找类似后右键静音。若杂音和主音柔和在一起无法智能提取，一种思路是直接去掉这段主音，若精益求精，可使用 ripx 软件精修，该软件交互体验优秀，基本不需要教程，左右键点一点音轨图形就知道怎么做，把杂音的音轨删除，主音的音轨可剪切然后导出，所有声音导出成 wav 格式。
2025-04-11
AI音频使用了哪些技术
以下是一些关于 AI 音频所使用技术的介绍： 声音检测方面： ：通过更强的听觉感知创造卓越的人类体验。 ：先进的声音识别解决方案，能够分类如尖叫、枪声、咳嗽和哭泣等声音。 ：下一代声音 AI 平台，能够像人类一样理解任何声音。 ：语音控制的家庭自动化系统。 ：世界上首个智能家居听觉系统。 ：可用于从音频源中提取隐藏数据的 AI 模型。 ：无需键盘、按钮或触摸屏，无缝融合物理世界和数据世界。 ：为手机、VR/AR 头戴设备、智能手表、扬声器和笔记本电脑提供上下文感知。 ：智能音频穿戴设备。 ：将声音转化为信息。 ：使用先进的深度学习技术进行声音事件检测和上下文识别，为世界上的每一个声音赋予意义。 音乐方面： ：免费的 DAW，提供高质量的人声、鼓点、旋律、贝斯分离、全能音频分离、编辑和人声/乐器转 MIDI 功能。 ：AI 音频处理。 ：在音乐/视频流媒体和虚拟/增强现实中重新定义音频体验。 ：为音乐行业提供按需创建音轨的平台。 ：为娱乐行业提供音频分离解决方案，释放经典内容的全部潜力。 ：在几秒钟内将任何歌曲的人声和音乐分离。 ：基于世界排名第一的 AI 技术的高质量音轨分离。 ：使用强大的 AI 算法免费将歌曲中的人声与音乐分离。 ：使用 HiFi AI 分离歌曲中的人声、鼓点、贝斯和其他乐器。 ：为 DJ 歌手提供的在线 AI 人声移除器。 ：人声移除和在线卡拉 OK。 ：使用多种不同算法（Demucs、MDX、UVR 等）免费分离歌曲。 语音合成（TTS）方面： ：为所有人提供开放的语音技术。 ：基于 AI 的语音引擎能够模仿人类语音的情感和韵律。 ：基于 NLP 的最先进文本和音频编辑平台，内置数百种 AI 声音。 ：使用突触技术和脑机接口将想象的声音转化为合成 MIDI 乐器的脑控仪器。 ：为出版商和创作者开发最具吸引力的 AI 语音软件。 ：Wondercraft 使用户能够使用文本转语音技术生成播客。 ：基于生成机器学习模型构建内容创作的未来。 ：从网页仪表板或 VST 插件生成录音室质量的 AI 声音并训练 AI 语音模型。 ：演员优先、数字双重声音由最新的 AI 技术驱动，确保高效、真实和符合伦理。
2025-04-08