Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

音乐生成

Answer

目前在 AI 音乐生成领域,主要方式是“提示词+歌词”。具有代表性的产品有 Suno 和 Udio,Suno 在 a16z 最新统计的生成式 AI 网页端产品排名位居 Top5,半年内上升了 31 个名次,能生成 4 分钟的歌曲;Udio 排名 Top33,能生成 2 分钟的歌曲,但中文发音还有待提高。近半年二者丰富了一些可控性,如上传音频作为生成参考以及支持片段修改。

除此之外,还有类似的原生工具如海绵音乐、MusicFX,以及其它赛道的产品如剪映、TikTok、Mubert、唱鸭、网易天音等,通过集成生成能力来丰富功能提升体验。

AI 音乐生成的实际应用归纳为 5 个场景,生成技术在音乐视频和功能型音乐创作中正在发挥商业价值,社交娱乐和业余音乐创作场景未产生明确价值,专业创作领域尚待 AI 融合进工作流。

ElevenLabs 推出了自己的音乐生成模型 ElevenLabs Music,并展示了早期预览版生成的歌曲,该模型可直接通过文本提示生成完整带歌词音乐,歌曲风格涵盖流行摇滚、乡村、爵士、当代 R&B 和独立摇滚等多样化类型。详细内容,更多试听:https://xiaohu.ai/p/7687

Content generated by AI large model, please carefully verify (powered by aily)

References

AI音乐半年观(上) | 音乐生成有哪些实用场景和代表产品?

目前AI音乐生成的主要方式是“提示词+歌词”,最具代表性的产品依然是Suno和Udio,分别在a16z最新统计的生成式AI网页端产品排名位居[Top5和Top33](https://a16z.com/100-gen-ai-apps-3/)(基于月独立访问量),其中Suno更是在半年内上升了31个名次。目前Suno可以生成4分钟的歌曲,Udio则为2分钟但中文发音还有待提高,近半年二者也丰富了一些可控性如上传音频作为生成参考以及支持片段修改。除此之外,还有些类似的原生工具如[海绵音乐](https://www.haimian.com/featured)、[MusicFX](https://aitestkitchen.withgoogle.com/zh/tools/music-fx),以及其它赛道的产品如剪映、TikTok、Mubert、唱鸭、网易天音等,通过集成生成能力来丰富功能提升体验。我将AI音乐生成的实际应用归纳为5个场景,生成技术在音乐视频和功能型音乐创作中正在发挥商业价值,社交娱乐和业余音乐创作场景未产生明确价值,专业创作领域尚待AI融合进工作流。

AI音乐半年观(上) | 音乐生成有哪些实用场景和代表产品?

[heading2]前言[content]在近两年的生成式人工智能浪潮中,图片和视频领域已经取得了许多进展,音乐领域则大约是今年3月才开始崭露头角。在这半年间,也产生了许多技术和产品迭代以及应用案例。结合我的个人实践、产品体验和用户调研,我总结了AI音乐生成在哪些应用场景中发挥了价值?有哪些代表产品?哪些需求暂未满足?我会按照AI音乐生成、AI歌声生成/转换、AI音效生成这三个方向来阐述对应的用户场景和AI产品,希望对大家了解AI音乐目前进展及未来趋势有所帮助。本文为上篇,AI音乐生成。

ElevenLabs Music

[495_1715311793.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/XvYmbU6rTofFyOxRlJpcCh2unUe?allow_redirect=1)ElevenLabs推出其自己的音乐生成模型ElevenLabs Music并展示了早期预览版生成的歌曲,该模型可直接通过文本提示生成完整带歌词音乐。ElevenLabs声称这些歌曲都是根据单个文本提示生成的,没有任何编辑。各首歌曲风格涵盖流行摇滚、乡村、爵士、当代R&B和独立摇滚等多样化类型。详细内容,更多试听:https://xiaohu.ai/p/7687

Others are asking
生成提示词的提示词
以下是关于生成提示词的相关内容: 生成提示词的思路和方法: 可以根据效果好的图片中的高频提示词去反推效果,结合不同字体效果的描述,打包到一组提示词中。提示词给到 AI 后,AI 会根据给定文字的文义,判断适合的情绪风格,然后给出适合情绪的字体和风格描述、情感氛围等,加上一些质量/品质词,形成输出提示词结构。为了让 AI 更能描述清晰风格,可以先给定多种参照举例。 具体操作步骤: 打开 AI 工具的对话框,将相关提示词完整复制粘贴到对话框。推荐使用 ChatGPT 4o。 当 AI 回复后,发送您想要设计的文字。可以仅发送想要的文字,也可以发送图片(适合有多模态的 AI)让 AI 识别和反推。 将 AI 回复的提示词部分的内容复制到即梦 AI。 对生成提示词的一些观点: 提示词生成提示词并非必要,不一定能生成最好的 Prompt 框架,修改过程可能耗时且不一定能修改好,不如花钱找人写。 一句话生成完整符合需求的 Prompt 非常困难,只能大概给出框架和构思,需要更低成本地调整需求和修改 Prompt。 不同生图工具生成提示词的特点: 即使是简短的描述,生成的提示词也非常细节、专业。 会解析需求,找出核心要点和潜在的诠释点,并给出不同的提示词方案。 提示词构建更多在于增强,而不是发散,生成的内容更符合期望。 同时生成中、英双版本,国内外工具通用无压力。 14 款 AI 生图工具实测对比: 本次实测用到的工具包括国内版的即梦 3.0(https://jimeng.jianying.com/aitool/home)、WHEE(https://www.whee.com)、豆包(https://www.doubao.com/chat)、可灵(https://app.klingai.com/cn/texttoimage/new)、通义万相(https://tongyi.aliyun.com/wanxiang/creation)、星流(https://www.xingliu.art)、LibiblibAI(https://www.liblib.art),以及国外版的相关工具。
2025-04-20
有没有能根据描述,生成对应的word模板的ai
目前有一些可以根据描述生成特定内容的 AI 应用和方法。例如: 在法律领域,您可以提供【案情描述】,按照给定的法律意见书模板生成法律意见书。例如针对商业贿赂等刑事案件,模拟不同辩护策略下的量刑结果,对比并推荐最佳辩护策略,或者为商业合同纠纷案件设计诉讼策略等。 在 AI 视频生成方面,有结构化的提示词模板,包括镜头语言(景别、运动、节奏等)、主体强化(动态描述、反常组合等)、细节层次(近景、中景、远景等)、背景氛围(超现实天气、空间异常等),以及增强电影感的技巧(加入时间变化、强调物理规则、设计视觉焦点转移等)。 一泽 Eze 提出的样例驱动的渐进式引导法,可利用 AI 高效设计提示词生成预期内容。先评估样例,与 AI 对话让其理解需求,提炼初始模板,通过多轮反馈直至达到预期,再用例测试看 AI 是否真正理解。 但需要注意的是,不同的场景和需求可能需要对提示词和模板进行针对性的调整和优化,以获得更符合期望的 word 模板。
2025-04-18
如何自动生成文案
以下是几种自动生成文案的方法: 1. 基于其它博主开源的视频生成工作流进行优化: 功能:通过表单输入主题观点,提交后自动创建文案短视频,创建完成后推送视频链接到飞书消息。 涉及工具:Coze 平台(工作流、DeepSeek R1、文生图、画板、文生音频、图+音频合成视频、多视频合成)、飞书(消息)、飞书多维表格(字段捷径、自动化流程)。 大体路径:通过 coze 创建智能体,创建工作流,使用 DeepSeek R1 根据用户观点创建文案,再创建视频;发布 coze 智能体到飞书多维表格;在多维表格中使用字段捷径,引用该智能体;在多维表格中创建自动化流程,推送消息给指定飞书用户。 2. 生成有趣的《图文短句》: 实现原理: 先看工作流:包括第一个大模型生成标题、通过“代码节点”从多个标题中获取其中一个(可略过)、通过选出的标题生成简介、通过简介生成和标题生成文案、将文案进行归纳总结、将归纳总结后的文案描述传递给图像流。 再看图像流:包括提示词优化、典型的文生图。 最终的 Bot 制作以及预览和调试。 3. 腾讯运营使用 ChatGPT 生成文案: 步骤:通过 ChatGPT 生成文案,将这些文案复制到支持 AI 文字转视频的工具内,从而实现短视频的自动生成。市面上一些手机剪辑软件也支持文字转视频,系统匹配的素材不符合要求时可以手动替换。例如腾讯智影的数字人播报功能、手机版剪映的图文成片功能。这类 AI 视频制作工具让普罗大众生产视频变得更轻松上手。
2025-04-15
如何通过输入一些观点,生成精彩的口播文案
以下是通过输入观点生成精彩口播文案的方法: 1. 基于其它博主开源的视频生成工作流进行功能优化,实现视频全自动创建。 效果展示:可查看。 功能:通过表单输入主题观点,提交后自动创建文案短视频,并将创建完成的视频链接推送至飞书消息。 涉及工具:Coze平台(工作流、DeepSeek R1、文生图、画板、文生音频、图+音频合成视频、多视频合成)、飞书(消息)、飞书多维表格(字段捷径、自动化流程)。 大体路径: 通过 coze 创建智能体,创建工作流,使用 DeepSeek R1 根据用户观点创建文案,再创建视频。 发布 coze 智能体到飞书多维表格。 在多维表格中使用字段捷径,引用该智能体。 在多维表格中创建自动化流程,推送消息给指定飞书用户。 2. 智能体发布到飞书多维表格: 工作流调试完成后,加入到智能体中,可以选择工作流绑定卡片数据,智能体则通过卡片回复。 选择发布渠道,重点是飞书多维表格,填写上架信息(为快速审核,选择仅自己可用),等待审核通过后即可在多维表格中使用。 3. 多维表格的字段捷径使用: 创建飞书多维表格,添加相关字段,配置后使用字段捷径功能,使用自己创建的 Coze 智能体。 表单分享,实现填写表单自动创建文案短视频的效果。 4. 自动化推送:点击多维表格右上角的“自动化”,创建所需的自动化流程。 另外,伊登的最新 Deepseek+coze 实现新闻播报自动化工作流如下: 第一步是内容获取,只需输入新闻链接,系统自动提取核心内容。开始节点入参包括新闻链接和视频合成插件 api_key,添加网页图片链接提取插件,获取网页里的图片,以 1ai.net 的资讯为例,添加图片链接提取节点,提取新闻主图,调整图片格式,利用链接读取节点提取文字内容,使用大模型节点重写新闻成为口播稿子,可使用 Deepseek R1 模型生成有吸引力的口播内容,若想加上自己的特征,可在提示词里添加个性化台词。
2025-04-15
小红书图文批量生成
以下是关于小红书图文批量生成的详细内容: 流量密码!小红书万赞英语视频用扣子一键批量生产,这是一个保姆级教程,小白都能看得懂。 原理分析: 决定搞之后,思考生成这种视频的底层逻辑,进行逆推。这种视频由多张带文字图片和音频合成,带文字图片由文字和图片生成,文字和图片都可由 AI 生成,音频由文字生成,文字来源于图片,也就是说,关键是把图片和文字搞出来。 逻辑理清后,先找好看的模版,未找到好看的视频模版,最后看到一个卡片模版,先把图片搞出来,才有资格继续思考如何把图片变成视频,搞不出来的话,大不了不发视频,先发图片,反正图片在小红书也很火。 拆模版: 要抄这种图片,搞过扣子的第一反应可能是用画板节点 1:1 去撸一个,但扣子的画板节点很难用,Pass 掉。用 PS 不行,太死板不灵活,html 网页代码可以,非常灵活。经过 2 个多小时和 AI 的 battle,用 html 代码把图片搞出来了。这里不讲代码怎么写,直接抄就行。要抄,首先要学会拆,不管用什么方式批量生成这样的图片,都必须搞清楚里面有哪些是可以变化的参数,也就是【变量】,如主题、主题英文、阶段、单词数、图片、正文、翻译、普通单词、重点单词等。 想方法: 大概知道批量生成这样的图片需要搞清楚哪些参数,图片用 html 代码搞出来了。但问题是视频怎么搞,这种视频由多张不同的【带文字的图片】生成,比如读到哪句,哪句就高亮起来,图片也可以随着读到的句子变更。最后,视频就是用这样的图片一张张拼起来的。
2025-04-14
ai如何什么生成表格
AI 生成表格通常可以通过以下技术实现: 1. 利用变分自编码器(VAEs)和序列到序列模型(Seq2Seq)等技术生成表格文件、表格公式,并清理、创建、转换和分析表格中的文本数据,例如表格结构设计、数据分析表、表格自动化等。 2. 借助一些办公软件中的 AI 插件,如飞书中的相关插件,先通过 AI 理解图片中的内容并填充到表格列中,然后利用自带插件总结生成相关指令。 此外,在多模态数据生成中,结构化数据生成包括表格生成,多模态合成数据从大类来看有非结构化数据(图片、视频、语音等)和结构化数据(表格等)两大类。非结构化数据生成包括文本生成、图像生成、音频和语音生成、视频生成、3D 生成、合成数据生成等。
2025-04-14
ai音乐的行业研究报告
以下是为您提供的关于 AI 音乐的行业研究报告相关内容: 量子位智库发布的《AI 音乐应用产业报告(2024 年)》指出,AI 音乐生成技术通过学习大量音乐数据,已能创作出具有一定艺术性的音乐作品。技术发展迅速,音频模型尤其受到关注,因其能直接生成流畅自然的音乐。AI 音乐简化了音乐制作流程,为音乐产业带来变革。流媒体平台可能成为商业化的最大受益者,而传统音乐工程可能面临冲击。数据和情感表达的精准把控是技术迭代和商业化的关键。报告还提到,AI 音乐生成产品如 Suno 和 Udio 等,正在推动“人人皆可创作”的时代,同时面临技术、音乐属性和商业化等方面的挑战。 《专访 Luma AI 首席科学家:我们更相信多模态的 Scaling Law》中,Luma AI 首席科学家 Jiaming Song 在访谈中介绍了他们新推出的视频生成模型 Dream Machine。该模型旨在通过提升动作幅度来改善用户体验,以满足市场对视频生成的需求。Luma 的转型从 3D 生成到视频生成,是为了实现更高维度的 4D 表现,视频被视为实现更好 3D 效果的有效途径。Jiaming 指出,视频生成模型具备强大的 3D 一致性和光学效果,能够直接将图像转化为视频,再进一步转换为 3D 模型。 AI 音乐|2.21 资讯中,包含生成式人工智能对音乐领域的影响研究、谷歌推出 MusicRL:生成符合人类偏好的音乐、使用 Beatoven AI 的文生音乐功能给视频配乐、HyperGANStrument:使用音高不变超网络进行乐器声音合成和编辑、Stability AI 发布 Stable Audio AudioSparx 1.0 音乐模型等内容。 2024 年度 AI 十大趋势报告中提到,AI 生成音乐存在基于乐理规则的符号生成模型和基于音频数据的音频生成模型两种主流技术路线。开发者正在使用 AI 生成音乐来填充游戏过程与游戏 UI 中需要使用到的各类音效、不同游戏场景中用以渲染氛围的各种音乐。AI 生成音乐作为音乐资产在游戏制作和发行环节使用都是非常可行的,像 MusicLM 等模型已经支持生成多音轨的作品。使用 AI 生成音乐为原型、佐以专业制作人的协调,将使 AI 音乐更快进入游戏制作与发行的生产线。同时,AI 还能基于玩家游戏行为评估玩家技能水平和游戏风格,动态调整游戏难度等,提升玩家体验。此外,许多充满灵感的开发者正在尝试将 AI 作为游戏玩法的一环,促进游戏产业变革。 相关报告链接: 《AI 音乐应用产业报告(2024 年)》:https://waytoagi.feishu.cn/record/YoicrOScreZ7scct1Z3ciDM7nAd 生成式人工智能对音乐领域的影响研究报告:https://www.gema.de/documents/d/guest/gemasacemgoldmediaaiandmusicpdf
2025-04-11
AI音乐
AI 音乐相关内容如下: 在剪映中使用 AI 音乐: 点击 AI 音乐后,可选择人声歌曲或纯音乐。 描述想要的音乐风格,如民谣、流行、嘻哈、国风等。 若选人声歌曲,可自己填写歌词或让 AI 代写,通过智能歌词按钮输入简单词语给 AI 提示即可生成歌词。 音乐库提供各种风格的音乐,选择合适的添加到音轨。 音效库可通过搜索框输入关键词,如开门声,试听后添加到音轨。 人工智能音频初创公司: (被 Apple 收购):音乐帮助品牌与受众建立更深层次的连接。 :下一代音乐制作人。 :由 AI 驱动的软件引擎,可生成音乐,能对手势、动作、代码或其他声音作出反应。 :全球最大的音乐教育平台。 :用于创作歌曲和音频录制的应用程序。 :提供无缝录音室体验的一体化在线协作平台。 :专业音频、语音、声音和音乐的扩展服务。 :视频编辑的音频解决方案。 :由 AI 驱动的音乐工作室。 :通过直观的软件/硬件生态系统为音乐演奏者提供世界级声音的民主化访问。 :AI 音频插件和社区,弥合 AI 研究与创意之间的差距。 :为音乐人、制作人和内容创作者提供 AI 驱动的混音服务。 :为创作者提供的在线音乐软件,包括音乐母带处理、数字音乐发行、分期付款插件、免费样本包和协作工具。 AI 生成音乐的工具: 是利用人工智能技术,特别是机器学习和深度学习算法,来创作、编排和生成音乐的软件平台。 能够分析大量音乐数据,学习音乐模式和结构,根据用户输入或特定指令创作新音乐作品。 推荐产品: Udio:由前 Google DeepMind 工程师开发,通过文本提示快速生成符合用户音乐风格喜好的高质量音乐作品。 Suno AI:是一款革命性的人工智能音乐生成工具,通过先进的深度学习技术,将用户输入转化为富有情感且高质量的音乐作品。
2025-04-09
怎么用AI音乐变现
以下是关于用 AI 音乐变现的一些途径和相关信息: 1. 了解 AI 音乐的流派和 prompt 电子书,例如格林同学做的翻译。 2. 利用相关平台,如 LAIVE:这是一个利用 AI 技术一次性生成音乐、歌词、主唱等的创作平台,使用者可以选择自己喜欢的类型和情调,上传参考音源,AI 可以通过分析生成音乐。并且可以选择主唱和修改歌词,目前为开放测试阶段。输入促销代码 LAIVEcreator 可获得 50 代币(入口在个人资料),令牌有效期为输入代码后的 30 天,促销码失效日期为 4 月 17 日。链接:https://www.laive.io/ 3. Combobulator 插件:DataMind Audio 推出的基于 AI 的效果插件,利用神经网络通过样式转移的过程重新合成输入音频,从而使用你自己的声音重现其他艺术家的风格。链接:https://datamindaudio.ai/ 4. 在游戏制作和发行环节使用 AI 生成音乐:AI 生成音乐作为音乐资产是可行的,像 MusicLM 等模型已经支持生成多音轨的作品。使用 AI 生成音乐为原型、佐以专业制作人的协调,将使 AI 音乐更快进入游戏制作与发行的生产线。 目前 AI 生成音乐存在 2 种主流技术路线:基于乐理规则的符号生成模型和基于音频数据的音频生成模型。开发者正在使用 AI 生成音乐来填充游戏过程与游戏 UI 中需要使用到的各类音效、不同游戏场景中用以渲染氛围的各种音乐。
2025-03-30
国内有什么好的音乐AI可以用即兴哼唱旋律去写歌
以下是国内一些可用即兴哼唱旋律写歌的音乐 AI 相关信息: 《We Are The One》的创作思路: 只有词和意向风格:先确定最核心情绪所在段落,用 AI 生成最佳结果,以此作为动机音轨扩展创作。 只有词和一小段自己哼唱的旋律:上传哼唱旋律,让 AI 扩展出喜欢的风格,作为动机音轨继续创作。 已有 midi 作曲:挂载音源导出,在 AI 帮助下丰满包含主歌、副歌等主要段落的核心音轨,然后继续扩展出其他段落完成全曲创作。 已有简单录音小样:利用 REMIX 优化音质与编曲结构,利用 AI 尝试不同曲风版本,找到最喜欢的风格制作成核心音轨,进而完成全曲创作。 Suno 和 Udio 推出的上传音频文件生成音乐的功能: 精确控制每首歌的速度(Tempo),无需背绕口的速度词,可精确控制想要的 BPM。 控制旋律(Melody),通过自己制作简单旋律让 AI 补全并贯穿整首歌,实现旋律与速度的一谱变速,节省大量 Roll 旋律的时间。 选择配器(Instrumentation),按想法选乐器,减少提示词中乐器不灵光的情况,也可选择特殊音色。 进行合成(synthesizer),当有两支 BPM 相同、调性相同的音乐时,可尝试更多拆分组合和有趣效果。 节省上传音频的点数消耗后,点数可用于:用提示词多 Roll 一些和流派、心情、场景相关的曲子,减少限制让 AI 音乐发挥更多创造力,把好旋律存起来作为制作素材;用于 roll 更多细节调整部分,如让某段曲子升调,提升作品品质。
2025-03-29
AI音乐
AI 音乐相关内容如下: 在 AI 短片配音方面,AI 音乐的界面直观,您可以选择人声歌曲或纯音乐,然后描述想要的音乐风格,如民谣、流行、嘻哈、国风等。若选择人声歌曲,还可自己填写歌词或让 AI 协助创作,通过智能歌词按钮输入简单词语给 AI 提示即可。此外,还有音乐库选项,剪映提供了各种风格的音乐供您选择添加到音轨。音效库方面,比如搜索“开门声”,试听合适的音效后点击“+”号添加到音轨。 以下是一些人工智能音频初创公司: (被 Apple 收购),其音乐帮助品牌与受众建立更深层次的连接。 ,被称为下一代音乐制作人。 ,其由 AI 驱动的软件引擎可以生成音乐,能对手势、动作、代码或其他声音作出反应。 ,是全球最大的音乐教育平台。 ,用于创作歌曲和音频录制的应用程序。 ,提供无缝录音室体验的一体化在线协作平台。 ,提供专业音频、语音、声音和音乐的扩展服务。 ,视频编辑的音频解决方案。 ,由 AI 驱动的音乐工作室。 ,通过直观的软件/硬件生态系统为音乐演奏者提供世界级声音的民主化访问。 ,AI 音频插件和社区,弥合 AI 研究与创意之间的差距。 ,为音乐人、制作人和内容创作者提供 AI 驱动的混音服务。 ,为创作者提供在线音乐软件,包括音乐母带处理、数字音乐发行、分期付款插件、免费样本包和协作工具。 推荐的 AI 生成音乐的工具: Udio:由前 Google DeepMind 工程师开发,通过文本提示快速生成符合用户音乐风格喜好的高质量音乐作品。 Suno AI:是一款革命性的人工智能音乐生成工具,它通过先进的深度学习技术,能够将用户的输入转化为富有情感且高质量的音乐作品。 内容由 AI 大模型生成,请仔细甄别。
2025-03-27
ai音乐
AI 音乐相关内容如下: 关于 AI 短片配音:AI 音乐部分,点击后有直观界面,可选择人声歌曲或纯音乐,选完描述想要的音乐风格,如民谣、流行、嘻哈、国风等。若为人声歌曲,可自己写歌词或让 AI 写,通过智能歌词按钮输入简单词语给 AI 提示即可。还有音乐库选项,可选择合适风格的音乐添加到音轨。音效库方面,在搜索框输入相关音效词,如开门声,试听后添加到音轨。 人工智能音频初创公司:包括被 Apple 收购的。 AI 生成音乐的工具:是利用人工智能技术,特别是机器学习和深度学习算法创作、编排和生成音乐的软件平台。能分析大量音乐数据,学习音乐模式和结构,根据用户输入或特定指令创作新作品。推荐的 AI 音乐产品有:由前 Google DeepMind 工程师开发的 Udio()。但需注意内容由 AI 大模型生成,请仔细甄别。
2025-03-25