Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

训练数字人

Answer

以下是关于训练数字人的相关内容:

工作流

  1. 先用 Stable different 生成自己脸部的 Lora,然后生成各种不同风格的图片,并进行配音。
  2. 在 heygen 里面让图片口型和配音对上。
    • 第一步:拍摄训练的图片。
    • 第二步:使用 EasyPhoto 开始训练,等待显示 The training has been completed 表示完成。
    • 第三步:训练好的 lora 用来推理,注意推理使用的底图尽量和自己外形相似,尤其是发型。

在剪映中生成数字人的方法

  1. 在剪映右侧窗口顶部打开“数字人”选项,选取免费且适合的数字人形象,如“婉婉-青春”。选择后可根据声音判断是否需要,点击右下角“添加数字人”将其添加到当前视频中,左下角会提示渲染完成时间,完成后可点击预览查看效果。
  2. 增加背景图片:删除先前导入的文本内容,点击左上角“媒体”菜单并“导入”本地图片,将图片添加到视频轨道上,可通过拖拽轨道右侧竖线使其与视频对齐,选中轨道后可调整背景图大小和数字人的位置。

构建高质量 AI 数字人: 参考“真正的人”,赋予数字人躯壳和灵魂。数字人的躯壳要有好看的皮囊,能进行可视化、带有神态动作的动态互动;数字人的灵魂要具备一定智能水平,能理解交互对象信息并给予有效、符合预期的回应。

Content generated by AI large model, please carefully verify (powered by aily)

References

《回家过年》视频制作流程

制作最后的拜年祝福语,这边分享一下工作流。希望能对大家有些许帮助。先用Stable different脸一个自己脸部的Lora,然后生成各种不同风格的图片。配音在heygen里面让图片口型和配音对上。[heading4]第一步【拍摄训练的图片】[content]先拍好图片[heading4]第二步【使用EasyPhoto】开始训练[content]放入开始炼丹,需要等待一段时间。显示The training has been completed.就是完成了。[heading4]第三步【训练好的lora用来推理】[content]然后开始推理,下面是我推理设置的参数。这里推理使用的底图要注意一下,尽量出和自己外形,如果头发相似的图片。因为像不像,除了面部,发型这些也是关键。[heading2]后期剪辑[heading2]封面制作

实战: 每个人都可以用10分钟轻松制作AI换脸、AI数字人视频的方法!

3.1生成数字人在剪映右侧窗口顶部,我们打开“数字人”选项,选取一位免费的、适合的数字人形象,这里我选择“婉婉-青春”。当你选择一个数字人形象时,软件会马上播放出该数字人的声音。你可以判断是否是你需要的,点击右下角的“添加数字人”,就会将选择的数字人添加到当前视频中。剪映App将会根据之前提供的内容,来生成对应音视频,并添加到当前视频文件的轨道中。左下角会提示你渲染何时完成。然后你可以点击预览按钮,查看生成的数字人效果。3.2增加背景图片接下来,可以直接删除先前导入的文本内容。这是因为视频中的音频中已经包含文字内容了。鼠标点击下方代表文字的轨道,或者点击软件中间文字内容,按删除键删去文字:为了让视频更美观,我们为视频增加背景图片。当然你可以增加多个背景图片,为简化演示,这里增加1张图片。点击左上角的“媒体”菜单,并点击“导入”按钮,来选择本地的一张图片上传:我选择一张书架图片上传,然后像添加文字内容一样,点击图片右下角的加号,将这个图片添加到视频的轨道上(会覆盖数字人):此时,书架图片就会在视频轨道的下面,添加一条新轨道:为了让图片在整个视频播放的时候都显示,可以点击这个轨道最右侧的竖线,向右拖拽,直到视频的最后,也就是和视频对齐:此时,背景图片所在的轨道是选中状态。如果没选中,鼠标点击一下这个规定即可。在显示区域,拖动背景图的一个角,将图片放大到适合的尺寸,比如覆盖视频窗口。并将数字人拖动到合适的位置:

AI 数字人-定义数字世界中的你

首先我们需要参考“真正的人”,赋予数字人躯壳和灵魂:数字人的躯壳就像我们的身体一样,有一个好看的皮囊,能够跟人进行可视化的,带有神态动作的动态互动;数字人的灵魂就像我们的大脑,具备一定的智能水平,能够理解交互对象的信息,并给予有效的,符合预期的回应。

Others are asking
这个网站的作用是什么?是通过这个网站更好的使用训练AI吗?
WaytoAGI 网站具有以下功能: 1. 和 AI 知识库对话:您可以在此询问任何关于 AI 的问题。 2. AI 网站:集合了精选的 AI 网站,可按需求找到适合您的工具。 3. AI 提示词:集合了精选的提示词,能复制到 AI 对话网站使用。 4. 知识库精选:将每天知识库的精华内容呈现给大家。 总之,WaytoAGI 网站和 WaytoAGI 知识库相互独立又有关联,希望成为您学习 AI 路上的好助手。
2025-04-13
想自学ai训练师 推荐哪个视频去学习
以下是为您推荐的自学 AI 训练师的视频: 1. 3 月 26 日|自由讨论|离谱视频切磋大会 猫先生介绍自己的背景和擅长领域 AI 学习与实践的重要性 AI 交流会:分享项目经验和技能 讨论比赛规则和资源分配 AI 工具学习与合作 广州 AI 训练师叶轻衣分享使用 AI 工具的经验和想法 组队提升工作效率 AI 技术在 3D 动画制作中的应用与优势 链接:https://waytoagi.feishu.cn/minutes/obcnc915891t51l64uyonvp2?t=0 2. AI 大神 Karpathy 再发 LLM 入门介绍视频 神经网络训练的目标:训练神经网络的目标是让模型学习 token 在序列中彼此跟随的统计关系,即预测给定上下文(token 序列)后,下一个最有可能出现的 token。 Token 窗口:训练时,模型从数据集中随机抽取固定长度的 token 窗口(例如 8000 个 token)作为输入。 神经网络的输入与输出:输入为 Token 序列(上下文),输出为预测下一个 token 的概率分布,词汇表中每个 token 都有一个概率值。 随机初始化与迭代更新:神经网络初始参数是随机的,预测也是随机的。训练过程通过迭代更新参数,调整预测结果,使其与训练数据中的统计模式相匹配。 损失函数与优化:训练过程使用损失函数来衡量模型预测与真实 token 的差距。优化算法(如梯度下降)用于调整参数,最小化损失函数,提高预测准确率。 神经网络内部结构:Transformer 包含注意力机制和多层感知器等组件,能够有效地处理序列数据并捕捉 token 之间的复杂关系。 链接:无
2025-04-12
想自学ai训练师
如果您想自学成为 AI 训练师,以下是一些相关的知识和建议: 一、AI 训练的基本概念 训练是指通过大数据训练出一个复杂的神经网络模型。这需要使用大量标记过的数据来训练相应的系统,使其能够适应特定的功能。训练过程需要较高的计算性能,能够处理海量的数据,并具有一定的通用性,以便完成各种各样的学习任务。 二、相关领域的知识 1. 机器学习:机器学习是人工智能的一个分支,是实现人工智能的途径之一,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。 2. 自然语言处理:自然语言(NLP)认知和理解是让电脑把输入的语言变成有意思的符号和关系,然后根据目的再处理。自然语言生成系统则是把计算机数据转化为自然语言,是人工智能和语言学领域的分支学科。 三、学习资源和实践 您可以参考以下的一些资源和实践方式: 1. 参加相关的线上交流会,例如 3 月 26 日的自由讨论活动,其中会分享项目经验、技能以及使用 AI 工具的经验和想法。 2. 了解一些健身的 AI 产品,如 Keep(https://keep.com/)、Fiture(https://www.fiture.com/)、Fitness AI(https://www.fitnessai.com/)、Planfit(https://planfit.ai/)等,虽然这些主要是健身领域的应用,但也能帮助您了解 AI 在不同场景中的应用和创新。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-04-12
怎么用把AI训练成自己的东西?
要将 AI 训练成自己的东西,可以参考以下方法: 1. 像马斯克提到的,对于公开的推文数据可以合理使用,但不能使用私人的东西进行训练。同时,要注重数据的质量和使用方式,高质量的数据对于训练效果至关重要。 2. 张梦飞的方法中,例如部署 LLama Factory 时,需要添加选中“identity”数据集,将训练轮数改成 15 等,并通过一系列操作进行训练和测试。但需要注意的是,训练大模型是复杂的过程,数据集和训练参数都会影响最终效果,需要反复调试和深入学习实践。 3. 在写作方面,我们可以根据自身需求选择人类驱动为主,利用 AI 进行修改完善,或者先由 AI 生成内容再进行修改以符合自己的风格。
2025-04-11
如何训练一个AI 阅读教练
训练一个 AI 可以类比为培养一位职场新人,主要包括以下三个阶段: 1. 规划阶段:明确目标 确定 AI 的具体任务,比如结构化外文精读等。 将任务拆解为可管理的子任务。 设计每个子任务的执行方法。 2. 实施阶段:实战指导 搭建工作流程。 为每个子任务设置清晰的操作指南。 像指导新员工一样,手把手引导 AI 完成任务,并及时验证其输出质量。 3. 优化阶段:持续改进 通过反复测试和调整,不断优化 AI 的性能。 调整工作流程和 Prompt 配置,直到 AI 能稳定输出高质量的结果。 当前大模型在处理多步骤复杂任务时存在明显局限,比如在“数据分析图表、剧情游戏”或“本文结构化外文精读”等任务中,仅依靠单一 Prompt 指令难以稳定执行,现阶段的 AI 更像缺乏独立解决问题能力的职场新人,需要遵循指引和给定的流程才能完成特定任务。如果您已经完全了解上述内容,不妨自己设定一个任务目标,动手构建一个专属于自己的 AI 。
2025-04-11
模型训练的基本名词和方法
以下是关于模型训练的基本名词和方法的介绍: 基本名词: 1. 过拟合&欠拟合:过拟合和欠拟合都是不好的现象,需要加以控制以让模型达到理想效果。解决方法包括调整训练集、正则化和训练参数等,过拟合可减少训练集素材量,欠拟合则增加训练集素材量。 2. 泛化性:泛化性不好的模型难以适应其他风格和多样的创作。可通过跑 lora 模型生图测试判断泛化性,解决办法与过拟合和欠拟合类似,从训练集、正则化、训练参数等方面调整。 3. 正则化:是解决过拟合和欠拟合情况、提高泛化性的手段,给模型加规则和约束,限制优化参数,有效防止过拟合,提高模型适应不同情况的表现和泛化性。 方法: 1. 全面充分采集训练素材:例如在角色训练素材中,应包含各种角度、表情、光线等情况的素材,确保模型具有较好泛化性。 2. 图像预处理:对训练素材进行分辨率调整、裁切操作,并对训练集进行打标签处理。 3. 参数调优:尽量将训练时长控制在半小时左右,过长易导致过拟合,通过调整参数控制时长。 4. 观察学习曲线:通过观察学习曲线来调整训练素材和参数。 5. 过拟合&欠拟合处理:测试训练好的模型,观察过拟合和欠拟合问题,进一步通过调整训练素材和正则化等手段优化。 此外,在模型训练中还需注意: 1. 数据集获取渠道:可通过网上收集、购买、使用无版权问题的如古画等,原则是根据生成图的需求找对应数据集,要清晰、主体元素干净、风格统一。 2. 数据集处理:包括基础处理如裁剪保证清晰和分辨率,更重要的是写标注。 3. 设置模型触发词:可自定义,完整形式可以是一句话,建议以王 flags 模型为主。 4. 统一标注风格与应用场景:例如未来高科技 3D 天然风格,用于互联网首页图像等,并概括主题内容、描述物体特征等。 5. 利用 GPT 辅助描述并人工审核:让 GPT 按要求描述,人工审核修改。 6. 模型训练的准备与流程:完成数据集描述后进入训练流程,选择模型训练分类和数据集,创建并上传数据集压缩包,注意数据名与图片命名一致。选择训练模式和参数,新手选用普通基础模式,训练集质量重要,训练参数中总步数与训练集图片数量相关,触发词设定要避免概念混乱。
2025-04-09
想要做一节讲如何用智能体做企业数字化转型的课程,如何设计
以下是关于如何设计用智能体做企业数字化转型课程的建议: 一、参考案例 1. 李国宝的相关经验 具有丰富的从业经验,包括通信工程、数据通信网络培训、创业、网络安全解决方案及培训、AI 课程开发与培训等。 开发过面向不同群体的 AI 课程,如《数字化转型实践》面向传统企业数字化、AI 赋能转型。 2. 90 分钟从 0 开始打造你的第一个 Coze 应用课程 从零开始教学做应用界面,先基础教学,再涉及特定应用。 介绍当前承接业务,包括辅导、培训、定制及企业 AI 落地等。 挖掘用户对 AI 应用的功能需求,如对交互界面的需求。 二、课程设计要点 1. 对于企业管理者 AI 辅助决策:在小规模决策中使用 AI 分析工具,以其分析结果作为决策参考。 员工培训计划:制定 AI 工具使用的培训计划,帮助团队成员了解日常工作中如何有效利用 AI。 流程优化:识别公司中可能受益于 AI 自动化的重复性任务,从小流程开始测试 AI 解决方案的效果。 AI 伦理和政策:制定公司的 AI 使用政策,确保 AI 应用符合伦理标准和法律要求。 2. 对于教育工作者 AI 辅助教案设计:尝试使用 AI 帮助设计课程大纲或生成教学材料 ideas,为课程带来新视角。 个性化学习路径:探索使用 AI 分析学生学习数据,为不同学生制定个性化学习计划。 创新教学方法:考虑将 AI 工具整合到课堂活动中,如使用 AI 生成的案例研究或模拟场景。 AI 素养教育:开发简单的课程模块,教导学生了解 AI 基础知识、应用领域及其对社会的影响。 三、注意事项 无论面向哪个群体,都应记住:与 AI 协作是一个学习过程。从小处着手,保持好奇心和开放态度,会发现 AI 不仅能提高工作效率,还能激发创造力,开拓新的可能性。最重要的是,始终保持批判性思维,将 AI 视为强大的工具,而不是完全依赖的解决方案。
2025-04-18
你是福州市政府工作人员,中国移动拟邀请福州市委书记参加中国移动人工智能生态大会并致辞,该大会是第八届数字峰会的组成部分,需要撰写市委书记的致辞稿,需要中国移动准备哪些素材,请告诉我提示词
以下是为您整理的相关内容: 《促进创新的人工智能监管方法》:包含了关于通用人工智能价值链、相关案例研究以及对人工智能监管框架的探讨等内容。 陶力文律师关于律师写好提示词用好 AI 的方法:包括初始化的欢迎语、遵循的规则、获取案例洞察报告和目标群体、输出纲要和写作方案、根据用户反馈调整等流程。 开幕式主持稿:涉及基地代表发言的时间、主题、物料配合和人员配合等信息。 但这些素材似乎与为中国移动准备市委书记致辞稿所需的素材关联不大。一般来说,为撰写市委书记在中国移动人工智能生态大会上的致辞稿,中国移动可能需要准备以下素材: 1. 本次大会的详细介绍,包括主题、目标、议程安排等。 2. 中国移动在人工智能领域的发展成果、战略规划和未来愿景。 3. 中国移动人工智能生态的构建情况,如合作伙伴、合作项目等。 4. 本次大会在第八届数字峰会中的地位和作用。 5. 相关行业的人工智能发展现状和趋势。 6. 福州市在人工智能领域的发展情况和与中国移动合作的展望。
2025-04-18
,当前AI数字人发展的新态势,以及新技术和成果
当前 AI 数字人的发展呈现出以下新态势,并取得了一系列新技术和成果: 数字人简介: 数字人是运用数字技术创造的,虽现阶段未达科幻作品中的高度智能,但已在生活多场景中出现且应用爆发。业界对其尚无准确定义,一般可按技术栈分为真人驱动和算法驱动两类。真人驱动的数字人重在通过动捕设备或视觉算法还原真人动作表情,主要用于影视和直播带货,其表现质量与建模精细度及动捕设备精密程度相关,不过视觉算法进步使在无昂贵动捕设备时也能通过摄像头捕捉关键点信息实现不错效果。 B 端变现与创业方向: B 端变现细分包括高频率和大规模的内容生产细分,如文字、视频、3D 模型、AI 智能体等,底层是需求和数据收集及训练模型,算力和能源是关键。自媒体创业需具备内容创新和差异化,内容成本低且更新迭代快。游戏创业可做轻量化游戏,结合 AI 技术满足放松和社交需求,专注垂类赛道避免与大厂竞争。影视创业在 25 年将是拐点,更多内容会采用 AI 技术。广告营销创业重点是 AI 虚拟人,数字插画可走治愈类型,要明确平台用户画像和产品定位,做好次留存和引入私域。 AI 虚拟人的发展与创业机遇: AI 虚拟人从早期以首位为核心的宅文化虚拟偶像,发展到以 CG 技术和动捕语音合成技术为核心的角色,再到如今以动捕和人工智能技术为核心的服务型虚拟人。虚拟人产业链包括基础层的硬件和软件研发,平台层如商汤、百度等提供工具和系统,应用层涉及影视、传媒、游戏、金融、文旅等内容变现。未来 3 10 年,AI 虚拟人是 Web 3.0 的风口,提前布局有潜力的赛道可迎接机遇,但创业对创业者综合能力要求极高。 未来展望: 数字人未来有很多应用场景,如家庭中的数字人管家、学校中的数字人老师、商场里的数字人导购等。未来还会有很多技术突破,如将五感数据和躯壳控制参数作为输入,次世代算法可自我迭代升级和自行演化躯壳控制方式。通过 Dify 搭建数字人的开源项目可展现低门槛高度定制数字人的基本思路,数字人的核心在于 Agent 即灵魂,如何在 Dify 上编排专属数字人灵魂值得体验。期望随着数字人的多模态能力接入、智能化水平升级、模型互动控制更精确,AI 既能提供高质量信息,也能关注用户情绪。
2025-04-14
数字人
数字人是运用数字技术创造出来的人,目前业界尚无准确定义,一般可根据技术栈分为真人驱动和算法驱动两类。 真人驱动的数字人重在通过动捕设备或视觉算法还原真人动作表情,主要应用于影视行业及直播带货,其表现质量与手动建模精细程度及动捕设备精密程度直接相关,不过随着视觉算法进步,在无昂贵动捕设备时也能通过摄像头捕捉人体骨骼和人脸关键点信息达到不错效果。 制作数字人的工具主要有: 1. HeyGen:AI 驱动的平台,可创建逼真数字人脸和角色,使用深度学习算法生成高质量肖像和角色模型,适用于游戏、电影和虚拟现实等应用。 2. Synthesia:AI 视频制作平台,允许创建虚拟角色并进行语音和口型同步,支持多种语言,可用于教育视频、营销内容和虚拟助手等场景。 3. DID:提供 AI 拟真人视频产品服务和开发,上传人像照片和输入内容,平台的 AI 语音机器人自动转换成语音,合成逼真会开口说话的视频。 更多数字人工具请访问网站查看:https://www.waytoagi.com/category/42 。使用这些工具时,请确保遵守相关使用条款和隐私政策,并注意保持对生成内容的版权和伦理责任。 以下是每个人都可以用 10 分钟轻松制作 AI 数字人视频的方法: 在显示区域,拖动背景图的一个角将图片放大到适合尺寸,覆盖视频窗口,并将数字人拖动到合适位置。增加字幕,点击文本 智能字幕 识别字幕,点击开始识别,软件会自动将文字智能分段并形成字幕。至此,数字人视频完成,点击右上角“导出”按钮导出视频以作备用。若希望数字人换成自己希望的面孔,则需要用另一个工具来进行换脸。
2025-04-12
有没有免费制作数字人的网站?
以下是一些免费制作数字人的网站及使用方法: HEYGEN: 优点:人物灵活,五官自然,视频生成很快。 缺点:中文的人声选择较少。 使用方法:点击网址注册后,进入数字人制作,选择Photo Avatar上传自己的照片。上传后效果如图所示,My Avatar处显示上传的照片。点开大图后,点击Create with AI Studio,进入数字人制作。写上视频文案并选择配音音色,也可以自行上传音频。最后点击Submit,就可以得到一段数字人视频。 DID: 优点:制作简单,人物灵活。 缺点:为了防止侵权,免费版下载后有水印。 使用方法:点击上面的网址,点击右上角的Create vedio。选择人物形象,可以点击ADD添加照片,或者使用DID给出的人物形象。配音时,可以选择提供文字选择音色,或者直接上传一段音频。最后,点击Generate vedio就可以生成一段视频。打开自己生成的视频,可以下载或者直接分享给朋友。 KreadoAI: 优点:免费(对于普通娱乐玩家很重要),功能齐全。 缺点:音色很AI。 使用方法:点击上面的网址,注册后获得120免费k币,这里选择“照片数字人口播”的功能。点击开始创作,选择自定义照片。配音时,可以选择提供文字选择音色,或者直接上传一段音频。打开绿幕按钮,点击背景,可以添加背景图。最后,点击生成视频。 此外,在剪映中也可以生成数字人:在剪映右侧窗口顶部,打开“数字人”选项,选取一位免费的、适合的数字人形象,比如“婉婉青春”。选择数字人形象时,软件会播放声音,可判断是否需要,点击右下角的“添加数字人”,将其添加到当前视频中。软件会根据提供的内容生成对应音视频,并添加到当前视频文件的轨道中。左下角会提示渲染完成,可点击预览按钮查看效果。还可以为视频增加背景图片,删除先前导入的文本内容,点击左上角的“媒体”菜单并点击“导入”按钮,选择本地图片上传,将图片添加到视频轨道上,通过拖拽轨道右侧竖线使其与视频对齐。
2025-04-11
数字人讲解产品
以下是关于数字人讲解产品的相关内容: 电商方面: 1. 添加产品/介绍背景:若有自己的视频/图片素材可用,若无,可根据搜索添加。 2. 扣像结合背景:在剪映中把数字人扣下,导入视频,点击画面选择抠像,点击智能抠像,调整大小和位置。 3. 添加字幕和音乐:智能识别字幕,可搜索或手动添加喜欢的音乐。最终形成所需视频,可用于带货或讲解产品,也能应用于直播(直播可能收费,短视频可通过购买邮箱注册使用免费时长或直接购买会员版)。 XiaoHu.AI 日报 1 月 14 日相关: 1. 无需真人模特,上传产品图片,数字人即可手持产品进行口播展示。 2. 支持语音和口型同步,动作、姿势可定制,提供 1000+多国家数字人模特。 3. 覆盖全球 28+种语言,能快速生成产品宣传视频,省去拍摄烦恼。测试视频效果接近成熟,嘴型部分仍需微调。在线体验:
2025-04-11