视频人物转动画的技术

以下是关于文字生成视频（文生视频）的相关信息： 一些提供文生视频功能的产品： Pika：擅长动画制作，支持视频编辑。 SVD：Stable Diffusion 的插件，可在图片基础上生成视频。 Runway：老牌工具，提供实时涂抹修改视频功能，但收费。 Kaiber：视频转视频 AI，能将原视频转换成各种风格。 Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 更多相关网站可查看：https://www.waytoagi.com/category/38 。 制作 5 秒单镜头文生视频的实操步骤（以梦 AI 为例）： 进入平台：打开梦 AI 网站并登录，新用户有积分可免费体验。 输入提示词：涵盖景别、主体、环境、光线、动作、运镜等描述。 选择参数并点击生成：确认提示词无误后，选择模型、画面比例，点击「生成」按钮。 预览与下载：生成完毕后预览视频，满意则下载保存，不理想可调整提示词再试。 视频模型 Sora：OpenAI 发布的首款文生视频模型，能根据文字指令创造逼真且充满想象力的场景，可生成长达 1 分钟的一镜到底超长视频，视频中的人物和镜头具有惊人的一致性和稳定性。

以下是 4 月 11 日、4 月 9 日和 4 月 14 日的 AI 视频相关资讯汇总： 4 月 11 日： Pika 上线 Pika Twists 能力，可控制修改原视频中的任何角色或物体。 Higgsfield Mix 在图生视频中，结合多种镜头运动预设与视觉特效生成视频。 FantasyTalking 是阿里技术，可制作角色口型同步视频并具有逼真的面部和全身动作。 LAM 开源技术，实现从单张图片快速生成超逼真的 3D 头像，在任何设备上快速渲染实现实时互动聊天。 Krea 演示新工具 Krea Stage，通过图片生成可自由拼装 3D 场景，再实现风格化渲染。 Veo 2 现已通过 Gemini API 向开发者开放。 Freepik 发布视频编辑器。 Pusa 视频生成模型，无缝支持各种视频生成任务（文本/图像/视频到视频）。 4 月 9 日： ACTalker 是多模态驱动的人物说话视频生成。 Viggle 升级 Mic 2.0 能力。 TestTime Training在英伟达协助研究下，可生成完整的 1 分钟视频。 4 月 14 日： 字节发布一款经济高效的视频生成基础模型 Seaweed7B。 可灵的 AI 视频模型可灵 2.0 大师版及 AI 绘图模型可图 2.0 即将上线。

以下是为您提供的 AI 视频教学相关内容： 1. 第一节回放 AI 编程从入门到精通： 课程安排：19、20、22 和 28 号四天进行 AI 编程教学，周五晚上穿插 AI 视频教学。 视频预告：周五晚上邀请小龙问露露拆解爆火的 AI 视频制作，视频在视频号上有大量转发和播放。 编程工具 tree：整合多种模型，可免费无限量试用，下载需科学上网，Mac 可拖到文件夹安装，推荐注册 GitHub 账号用于代码存储和发布，主界面分为工具区、AI 干活区、右侧功能区等。 网络不稳定处理：网络不稳定时尝试更换节点。 项目克隆与文件夹：每个项目通过在本地新建文件夹来区分，项目运行一轮一轮进行，可新建会话，终端可重开。 GitHub 仓库创建：仓库相当于本地项目，可新建，新建后有地址，可通过多种方式上传。 Python 环境安装：为方便安装提供了安装包，安装时要选特定选项，安装后通过命令确认。 代码生成与修改：在 tree 中输入需求生成代码，可对生成的代码提出修改要求，如添加滑动条、雪花形状、颜色等，修改后审查并接受。 2. AI 视频提示词库： 神秘风 Arcane：Prompt：a robot is walking through a destroyed city,,League of Legends style,game modelling 乐高 Lego：Prompt：a robot is walking through a destroyed city,,lego movie style,bright colours,block building style 模糊背景 Blur Background：Prompt：a robot is walking through a destroyed city,,emphasis on foreground elements,sharp focus,soft background 宫崎骏 Ghibli：Prompt：a robot is walking through a destroyed city,,Spirited Away,Howl's Moving Castle,dreamy colour palette 蒸汽朋克 Steampunk：Prompt：a robot is walking through a destroyed city,,fantasy,gear decoration,brass metal robotics,3d game 印象派 Impressionism：Prompt：a robot is walking through a destroyed city,,big movements

目前在视频视觉理解能力方面表现出色的大模型有： 1. 昆仑万维的 SkyReelsV1：它不仅支持文生视频、图生视频，还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。擅长万物识别，能分析图像中的文本、图表、图标、图形和布局等。

目前全世界较为厉害的视频视觉理解大模型有以下几个： 1. 昆仑万维的 SkyReelsV1：不仅支持文生视频、图生视频，是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元：语义理解能力出色，能精准还原复杂的场景和动作，如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5：全球最快的 AI 视频生成模型，Turbo 模式下可在 10 秒内生成视频，最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能，具备顶尖动漫生成能力。

以下是一个关于自动化出视频工作流的详细介绍： 优势： 全自动化处理，解放双手。 40 秒快速出片，效率提升。 成本低廉，每条仅需 0.0x 元。 输出质量稳定专业。 DeepseekR1 保证文案质量。 还能改进，例如可以加入配套 BGM，让视频更有感染力；增加更丰富的画面内容和转场效果；使用免费节点替代付费插件，进一步降低成本；优化模板样式，支持更多展示形式；增加自动化程度，支持批量处理。 工作流程： 1. 可以在扣子商店体验，建议自己搭建。 2. 工作流调试完成后，加入到智能体中，可以选择工作流绑定卡片数据，智能体则通过卡片回复。 3. 选择发布渠道，重点如飞书多维表格，填写上架信息（为了快速审核，选择仅自己可用），确认发布等待审核，审核通过后即可在多维表格中使用。 4. 创建飞书多维表格，添加相关字段，配置选择“自动更新”，输入相关字段后，“文案视频自动化”字段捷径会自动调用工作流，生成视频。 5. 表单分享，实现“填写表单，自动创建文案短视频”的效果。 6. 全自动视频合成使用多视频融合插件，一键导出成品。但需注意节点产生的视频是异步生成，可能无法马上展现，需耐心等待几秒。 如果您还有其他疑问或需要进一步的帮助，请随时联系。

以下为一些照片转动漫的工具及相关信息： 1. VIGGLE： 是一款创新的可控视频生成平台，基于 JST1 技术，允许用户自由创建和控制 3D 角色的动作，在游戏开发、动画制作及 VR/AR 等领域有巨大潜力。 Viggle AI 是利用骨骼动画将图片转化为一致性角色动画的工具，简化了动画制作流程。 体验地址：https://www.viggle.ai/ 官方 Discord：https://discord.gg/viggle 操作方式（以网页端举例）： Upload a character image of any size.上传任意尺寸的角色图像。 For better results,use a fullbody photo with a clean background.为了获得更好的效果，请使用背景干净的全身照片。 Image size图像大小（最大 10MB） 您上传的照片必须符合社区规则。 2. 莱森： 利用一致性 MJ 出海马体写真的教程。 用醒图（英文版叫做 hypic）或者美图秀秀等 App 调整脸部，拖拖修图进度条就好了。 关注醒图【人像>面部重塑>面部>比例】，调整上庭、中庭、下庭。 在转绘部分，照片>Minecraft 风格幅度变化大时，若sw 风格权重拉满仍复制不了像素小人风格，可能是cw 太高，调低 cw 可能成功复制。 cref 和 sref 同时参考多张 url 时，上传同一个人不同角度的照片，容易使结果畸形。 若 MJ 直出的皮肤缺乏质感，可打开醒图【人像>手动美颜>皮肤肌理】。 若想快速调整光源，可试试 Luminar，可官方下载购买完整版，或在 macos 订阅 setapp 使用有基础功能的 Luminar 版本。 3. 个性： 操作： 复杂提示词，如：Disney boy,Low saturation Pixar Super details,clay,anime waifu,looking at viewer,nighly detailedreflections transparent iridescent colors.lonctransparent iridescent RGB hair,art by Serafleurfrom artstation,white background,divine cinematic edgelighting,soft focus.bokeh,chiaroscuro 8K,bestquality.ultradetailultradetail.3d,c4d.blender,OCrenderer.cinematic lighting,ultra HD3D renderinoiw 1.5s 500v 5 不同照片生成，若对照片风格不满意可更换照片使用相同提示词重新生成。 其他调整，如觉得 Disney 风格太过卡通，可把提示词里的 Disney 换成 Pixar，若为女孩，可把 boy 换成 girl。每次生成 4 张图片，对某一张满意可点击下方的 U1~U4 生成大图，对风格满意但需调整可点击下方的 V1~V4 进行修改。

以下是一些将照片转动画的工具和相关信息： 网站： Morph Studio：https://app.morphstudio.com/ ，还在内测。 Heygen：https://www.heygen.com/ ，数字人/对口型。 Kaiber：https://kaiber.ai/ 。 Moonvalley：https://moonvalley.ai/ 。 Mootion：https://discord.gg/AapmuVJqxx ，3d 人物动作转视频。 美图旗下：https://www.miraclevision.com/ 。 Neverends：https://neverends.life/create ，操作傻瓜。 SD：Animatediff SVD deforum ，自己部署。 Leiapix：https://www.leiapix.com/ ，可以把一张照片转动态。 Krea：https://www.krea.ai/ 。 Opusclip：https://www.opus.pro/ ，利用长视频剪成短视频。 Raskai：https://zh.rask.ai/ ，短视频素材直接翻译至多语种。 invideoAI：https://invideo.io/make/aivideogenerator/ ，输入想法>自动生成脚本和分镜描述>生成视频>人工二编>合成长视频。 descript：https://www.descript.com/?ref=feizhuke.com 。 veed.io：https://www.veed.io/ ，自动翻译自动字幕。 clipchamp：https://app.clipchamp.com/ 。 typeframes：https://www.revid.ai/?ref=aibot.cn 。 VIGGLE： 是一款创新的可控视频生成平台，基于 JST1 技术，允许用户自由创建和控制 3D 角色的动作。在游戏开发、动画制作及 VR/AR 等领域展现出巨大潜力。 体验地址：https://www.viggle.ai/ 。 官方 Discord：https://discord.gg/viggle 。 操作方式（以网页端举例）： Upload a character image of any size.上传任意尺寸的角色图像。 For better results,use a fullbody photo with a clean background.为了获得更好的效果，请使用背景干净的全身照片。 Image size图像大小（最大 10MB）。 The photo you upload must comply with您上传的照片必须符合社区规则。 全球 AI 电影马拉松大赛获奖短片《种子》创作思路分享： 图片转视频主要用到了其实整个视频还是比较顺利的。主要用到 runway 的笔刷，即梦的前后帧，Pixverse、pika 等，画面都不难出，难出的就再抽他个一百次就行。 主要说三个本次用到的转场画面： 360 人物环绕：在主角的梦境破碎，从年轻变老的这一段，尝试了很多方式去表达，最后决定人物环绕拍摄的方式去做。而技术的思路是先用 MJ 做一组不同角度的人物站立图，然后通过 comfyui 的首尾帧进行视频制作。 母亲的影子：当时的想法是这组图既能在播放时看到母亲的轮廓，又能在暂停时自己成为一张完整的图片。参考节气图的思路，在 SDXL 工作流中加入了两个 controlnet，先在 base 里控制构图，再在 refiner 里再控制母亲在画面中的强度。 上帝之手：先出了一张伸手的图，然后用 runway 跑相互接近，然后转视频序列帧后在 comfyui 里用 controlnet 控制构图，按顺序自动出图跑一晚上，最后再剪辑序列帧就好了。

以下是一些真人视频转动漫风格视频的工具： 1. Pika：是一款出色的文本生成视频 AI 工具，擅长动画制作，并支持视频编辑。 2. SVD：如果熟悉 Stable Diffusion，可以安装这款最新的插件，能在图片基础上直接生成视频，它是由 Stability AI 开源的 video model。 3. Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频的功能，但需要收费。 4. Kaiber：视频转视频 AI，能够将原视频转换成各种风格的视频。 5. Sora：由 OpenAI 开发，可以生成长达 1 分钟以上的视频。 另外，还有以下相关工具： 1. 艺映 AI（https://www.artink.art/）：专注于人工智能视频领域，提供文生视频、图生视频、视频转漫等服务，用户可以根据文本脚本生成视频。 以上工具均适合于不同的使用场景和需求，您可以根据自己的具体情况进行选择。更多的文生视频的网站可以查看： 。需要注意的是，内容由 AI 大模型生成，请仔细甄别。

以下是关于图片转动漫风格的相关信息： SDXL Prompt Styler 插件可以把图片转化成近百种风格。原始图像为手绘风格时，手绘线条和折纸风格互斥。包含 canny 控制和跳过 canny 控制会有不同的风格转化效果，若想把图片转成漫画风格并较好保留人物外轮廓，加入 canny 控制能更好还原人物造型。有时直接用插件内置预设的提示词组合不一定能达到想要的效果，需在 prompt 中添加更多相关关键词。此工作流结合 Vid2Vid Style Transfer with IPA & Hotshot XL 工作流，可实现视频不同风格的稳定转绘。 3 月 18 日的 Xiaohu.AI 日报： Magnific AI 推出照片风格化功能，可将任意照片转换成任意风格，能控制样式数量和结构完整性，适用于多种用例。链接：https://x.com/imxiaohu/status/1769710736132227434?s=20 《滚石》报道 Suno AI 与 ChatGPT 合作创作的歌曲，Suno AI 生成音乐，ChatGPT 提供歌词和标题，模仿独奏原声密西西比三角洲蓝调，讲述悲伤的 AI 故事。相关链接：https://rollingstone.com/music/musicfeatures/sunoaichatgptformusic1234982307/ 、https://soundcloud.com/rs539916550/soulofthemachine 、https://x.com/imxiaohu/status/1769702028425744427?s=20 Animagine XL 3.1 动漫主题文本到图像模型更新发布，扩展了对广泛动漫风格的理解，提高了生成图像质量，解决过曝问题，新增美学标签，优化了结果准确性。链接：https://cagliostrolab.net/posts/animaginexlv31release 、https://huggingface.co/cagliostrolab/animaginexl3.1

以下为一些将照片转动漫的工具及相关介绍： 1. SD： 图生图功能除文本提词框外还有图片输入口，可通过图片给 AI 创作灵感。 可通过两种反推方式获取提示词，如 CLIP 和 DeepBooru，但生成的提示词可能有瑕疵，需手动补充信息。 调整宽度和高度使红框匹配图片。 2. Fooocus： 在“图生图”中载入图片并点击“加载到输入”，勾选“图生图”后点击生成，可得到相同构图的图像。 能切换“SAI 动漫”风格，右边参数可控制与参考图的相似程度。 3. AnimeAI： 官网为 https://animeai.app/ ，是一个能将肖像照片转化为个性化动漫艺术作品的 AI 动漫图片生成器，有广泛的动漫风格选择和先进算法。

以下是关于视频转动画视频的相关信息： 有爽文转简单动漫的视频上了 B 站热门，一本小说改编的涨粉十万，链接为：https://www.bilibili.com/video/BV1Pc411Q77b/?spm_id_from=333.999.0.0&vd_source=4f7659a23dafc8b331c8f784bf762298 。此类视频可简单拆解为人物站位调度+DNF/LOL 特效，纯视觉特效不考虑。随机摆放 SD 生成图片的小说改视频也有一定传播力。 有人想验证“人物站位的调度“这个步骤是否可以让 openai 的 GPT 来自动完成。 介绍了 AI 视频工具 viggle，其具有以下功能： 视频换脸、动作模仿。 相关网址：http://viggle.ai ，discord 免费体验：https://discord.com/invite/viggle 。 具体操作包括： /mix：将角色图像混合到动态视频中，需上传一张字符清晰的图片和一段清晰运动的视频。 /animate：使用文本运动提示为静态角色设置动画，需上传一张字符清晰的图片，并描述想让角色做的动作（也可从 https://viggle.ai/prompt 中复制动作提示词）。 /ideate：纯粹从文本创建角色视频，需描述想要创造的角色和希望角色执行的动作（或从 https://viggle.ai/prompt 中复制动作提示词）。 /character：通过文本提示创建角色并将其动画化，需描述想要创造的角色，从四个结果中选择一个图像，再描述希望角色执行的动作（或从 https://viggle.ai/prompt 中复制动作提示词）。 /stylize：使用文本提示符重新设计角色的样式并将其动画化，操作是上传一张字符清晰的图片，描述想改变角色的任何地方来重新塑造它，从四个结果中选择一个图像，再描述想要角色做的动作（或者从 https://viggle.ai/prompt 中复制动作提示词）。

要改变照片中人物的表情，可以通过以下几种方式： 1. 在使用 SD 脸部修复插件 After Detailer 时，输入如“伤心、流泪”这样针对表情的正负提示词，人物的表情会进行相应改变。但输入“带着墨镜”可能没有效果。 2. 使用 Magic Brush 工具，选中人物的眉毛、眼睛、嘴唇等部位，通过调节轨迹的方向来实现合理的表情变化。 3. 在 Midjourney V6 中，若遇到无法改变角色脸部等问题，可按照以下步骤排除故障：首先确保写了强有力的提示以建议新的姿势、风格或细节；若角色抗拒被操纵，可能是 cref 图像支配了提示，可通过使用 cw进行处理，尝试将提示与较低的 cref 权重一起使用，如 cw 60，按照特定步骤操作，还可考虑使用 来恢复面部区域。

以下是为您推荐的一些用于视频二创，如更换视频背景、人物衣服的相关 AI 工具： 1. 山寨版阿里 Animate Anyone 开源：利用图像和视频中的人物姿势来合成动画。Novita AI 开源并提供 API 支持，提供照片和视频即可自动生成动画。 GitHub：https://github.com/novitalabs/AnimateAnyone API：https://novita.ai/playgroundanimateanyone https://x.com/imxiaohu/status/1796191458052944072 2. ViViD 视频虚拟试穿技术：由阿里巴巴开发，可以替换视频中人物的衣服，生成真实自然的视频，支持多种服装类型，在视觉质量、时间一致性和细节保留方面表现优异。 https://x.com/imxiaohu/status/1796019244678906340 3. 在进行视频二创时，若需要更精确的蒙版，比如人物的眼睛或身上的配饰等，可以使用 segment anything 中的 GroundingDINO。启用 GroundingDINO 后，AI 会自动下载模型，也可在没有魔法的情况下到云盘直接下载，放到指定文件目录下“……sdwebuiakiv4.2\\extensions\\sdwebuisegmentanything\\models\\groundingdino”。在检测提示词中输入相关内容，AI 可根据语义分割自动检测并设置好蒙版。还能通过预览箱体得到部分编号进行单一调整。比如给人物换背景时，加载生成的背景蒙版，选择合适的大模型和正向提示词，蒙版模式选择“重绘非蒙版内容”，若有需要还可进行后续细化和 PS 修复。

要让一张卡通人物动起来，可以参考以下几种方法： 1. 使用 AnimateX ：类似 Animate Anyone，输入角色图片和参考动作序列，即可实现角色动画，尤其适配拟人化的角色。 2. 借助 Pika ： 账号注册：访问完成免费注册。 素材整理： 视频：准备一段视频，可手机实拍，≥5 秒，生成时会自动截取前 5 秒，横屏/竖屏均可（建议 1080p 以上）。 图片：准备一张主体清晰无遮挡的角色图片，生成的视频中将参考此图片的角色并融入视频。 文案思路：提前构思角色动态关键词（如“奔跑/挥手/发光”），也可让模型自由发挥。 3. 运用即梦进行图生视频：只需上传图片至视频生成模块，用简单提示词描绘画面中的动态内容，能生成时长为 3 秒钟的画面，运镜类型可根据剧本中的镜头描绘设置，以随机运镜为主，生成速度可选择慢速。 此外，在制作过程中，还可以像桂大羊的教程那样，通过描绘人物的提示词、上传角色参考图、扣除角色背景以便于进行角色加背景的融合生成时进行垫图操作等方式，提高人物和场景的融合度。

Midjourney 的角色一致性功能： 功能介绍：类似于“风格参考”功能，尝试使人物与“人物参考”图像相匹配。 使用方法：在提示词后输入`cref URL`并附上一个人物图像的 URL。需注意一定要在提示词后面，否则会报错。可以使用`cw`来修改参考“强度”，从 100 到 0。强度 100（`cw 100`）是默认值，会使用面部、头发和衣服；强度 0（`cw 0`）时，只会关注面部（适合改变服装/发型等）。 实际效果：例如以甜茶或小公主的图片为案例，不同的强度参数下，发型、衣服等会有相应变化。 相关优势：能节省工期，提升生产管线的可控性。 其他应用：利用 MJ 重绘功能，在重绘提示词里输入`cref cw`保证角色一致性。对于生成图中的黑边，可框住黑边部分重绘输入关键词“background”去除，保证背景一致。 体验网址：MJ 的网页版体验较好，网址为 https://alpha.midjourney.com/

以下是关于图片生成人物衣服的一些提示词相关内容： 在使用 Segment Anything 时，启用 GroundingDINO 可自动下载模型，将其放到特定文件目录下，在检测提示词中输入相关内容，如“eye”，可自动检测并设置蒙版。通过预览箱体获取编号，可选择调整单一部分。例如，只想调整左边眼睛，勾选 1 即可。还可给人物换背景，如大模型选择 revAnimated_v122，正向提示词为简单背景、花、国画、工笔，蒙版模式选择“重绘非蒙版内容”。将生成的图片放入图生图中，使用 tile 模型能给人物衣服添加国风元素。 设置模型和提示词时，例如大模型为 ghostmix_v20Bakedvae，正向提示词包含人物特征、服饰等描述，负向提示词包含 EasyNegative、badhandsv5neg 等。生成图片后可进行细节微调。 使用 cutoff 插件时，点击启用后按提示词顺序依次填入颜色提示词，中间用逗号分开，能准确显示颜色。如创建双人物构图，设置好人物形象和提示词，先在不开启插件时生成图片可能有颜色污染，开启插件并输入颜色信息后能保证颜色与提示词的关联性。

以下为您介绍一些可以免费驱动 AI 人物形象当做数字人进行口播的工具及使用方法： 1. HEYGEN： 优点：人物灵活，五官自然，视频生成很快。 缺点：中文的人声选择较少。 使用方法： 点击网址注册后，进入数字人制作，选择 Photo Avatar 上传自己的照片。 上传后效果如图所示，My Avatar 处显示上传的照片。 点开大图后，点击 Create with AI Studio，进入数字人制作。 写上视频文案并选择配音音色，也可以自行上传音频。 最后点击 Submit，就可以得到一段数字人视频。 2. DID： 优点：制作简单，人物灵活。 缺点：为了防止侵权，免费版下载后有水印。 使用方法： 点击网址，点击右上角的 Create vedio。 选择人物形象，可以点击 ADD 添加您的照片，或者使用 DID 给出的人物形象。 配音时，可以选择提供文字选择音色，或者直接上传一段音频。 最后，点击 Generate vedio 就可以生成一段视频。 打开自己生成的视频，可以下载或者直接分享给朋友。 3. KreadoAI： 优点：免费（对于普通娱乐玩家很重要），功能齐全。 缺点：音色很 AI。 使用方法： 点击网址，注册后获得 120 免费 k 币，这里选择“照片数字人口播”的功能。 点击开始创作，选择自定义照片。 配音时，可以选择提供文字选择音色，或者直接上传一段音频。 打开绿幕按钮，点击背景，可以添加背景图。 最后，点击生成视频。 4. 剪映： 优势：作为字节跳动旗下的产品，在抖音平台上被广泛应用，海外版 CapCut 也有出色表现。其拥有六大 AI 功能，能在编辑器里完成脚本生成、语音克隆、数字人口播等环节。 下载地址：剪映 制作流程： 打开剪映，添加一个文本到文字轨道，并修改好需要朗读的文字。 点击朗读，并进行声音克隆，剪映的声音克隆现在只用念一句话就可以完成克隆。 克隆完成后，选择喜欢的数字人形象，并把自己的克隆音色换上去。 一键智能生成字幕，再自行调整文字样式并校准。 生成数字人： 在剪映右侧窗口顶部，打开“数字人”选项，选取一位免费的、适合的数字人形象。 当选择一个数字人形象时，软件会马上播放出该数字人的声音。点击右下角的“添加数字人”，就会将选择的数字人添加到当前视频中。 左下角会提示渲染何时完成。然后可以点击预览按钮，查看生成的数字人效果。 增加背景图片： 可以直接删除先前导入的文本内容。 为视频增加背景图片，点击左上角的“媒体”菜单，并点击“导入”按钮，来选择本地的一张图片上传。 点击图片右下角的加号，将图片添加到视频的轨道上（会覆盖数字人）。 点击轨道最右侧的竖线，向右拖拽，直到视频的最后，也就是和视频对齐。

以下是关于能画技术路线图的 prompt 相关内容： Midjourney Bot 的 Prompt 类型： 基本 Prompts：可以只是一个单词、短语或表情符号。 高级 Prompts：包括一个或多个图片 URL、多个文本短语以及一个或多个参数。其中，图片 URL 始终位于 prompt 的最前面，以影响完成结果的风格和内容。提示文字是对希望生成的图像的文本描述，精心编写的提示有助于生成惊艳的图像。参数可以改变生成图片的方式，需放在提示语的末尾。 ComfyUI Flux 与 runway 制作绘画视频： 生成图片：提示词告诉 flux 生成一张技术草图，如 CAD。 绘制的视频：在 runway 里面，使用提示词从空白页面开始逐行创建，并把生成的图片作为尾帧。 草图上色：使用 flux 的 controlNet，depth 固定，目前 Union 版本不建议权重调太高，结束时间也需注意。 Prompt engineering（提示工程）： 开发测试用例：定义任务和成功标准后，创建多样化的测试用例，包括典型示例和边界情况，以确保提示具有鲁棒性。 设计初步提示：制定初步提示，概述任务定义、良好响应的特征及必要上下文，添加规范输入和输出的示例供参考。 根据测试用例测试提示：使用初步提示将测试用例输入，评估模型响应与预期输出和成功标准的一致性，使用一致的评分标准进行系统性的性能评估。

在金融业中，AI 有以下应用场景和技术： 1. 风控和反欺诈：用于识别和阻止欺诈行为，降低金融机构的风险。 2. 信用评估：评估借款人的信用风险，帮助金融机构做出更好的贷款决策。 3. 投资分析：分析市场数据，辅助投资者做出更明智的投资决策。 4. 客户服务：提供 24/7 的客户服务，回答客户常见问题。 例如，Hebbia 获得近 1 亿美元 B 轮融资，其 AI 技术能够一次处理多达数百万份文档，在短时间内浏览数十亿份包括 PDF、PowerPoint、电子表格和转录内容等，并返回具体答案，主要面向金融服务公司，如对冲基金和投资银行，同时也适用于律师事务所等其他专业领域。

Stable Diffusion 的底层技术主要来源于 AI 视频剪辑技术创业公司 Runway 的 Patrick Esser 以及慕尼黑大学机器视觉学习组的 Robin Romabach 之前在计算机视觉大会 CVPR22 上合作发表的潜扩散模型（Latent Diffusion Model）研究。 Stable Diffusion 是一种基于潜在扩散模型的文本到图像生成模型，其原理包括以下几个步骤： 1. 使用新颖的文本编码器（OpenCLIP），由 LAION 开发并得到 Stability AI 的支持，将文本输入转换为向量表示，以捕捉文本语义信息并与图像空间对齐。 2. 采用扩散模型，将随机噪声图像逐渐变换为目标图像。扩散模型是一种生成模型，能从训练数据中学习概率分布并采样新数据。 3. 在扩散过程中，利用文本向量和噪声图像作为条件输入，给出每一步变换的概率分布，根据文本指导噪声图像向目标图像收敛，并保持图像的清晰度和连贯性。 4. 使用超分辨率放大器（Upscaler Diffusion Model），将生成的低分辨率图像放大到更高分辨率，从低分辨率图像中恢复细节信息并增强图像质量。 此外，ComfyUI 的底层依赖 Stable Diffusion，去噪过程由 UNet 网络完成。UNet 是一种编码器解码器结构，能处理多尺度特征表示。在 ComfyUI 中，去噪的每个步骤通过模型推理模块实现，调用训练好的 UNet 模型逐步将噪声图像还原成有意义的图像。交叉注意力机制在 Stable Diffusion 中很重要，允许模型在生成过程中融入文本提示、图像、语义信息等条件，在 ComfyUI 中通过“文本提示”和“条件输入”节点实现。跳跃连接是 UNet 的核心部分，能在不同尺度之间共享特征，在 ComfyUI 的节点网络中表现为中间过程数据的流转。切换器代表在去噪过程中的不同阶段对特征流的控制，在 ComfyUI 中可通过修改模型参数节点或自定义网络结构节点对不同阶段的噪声去除策略进行微调。 Stable Diffusion 还具有以下优点： 1. 可以处理任意领域和主题的文本输入，并生成与之相符合的多样化和富有创意的图像。 2. 可以生成高达 2048x2048 或更高分辨率的图像，且保持良好的视觉效果和真实感。 它还可以进行深度引导和结构保留的图像转换和合成，例如根据输入图片推断出深度信息，并利用深度信息和文本条件生成新图片。

学习 AI 在工作中使用以提高工作效率，不一定需要从技术原理开始学习。以下是一些相关的案例和建议： 案例一：GPT4VAct 是一个多模态 AI 助手，能够模拟人类通过鼠标和键盘进行网页浏览。其应用场景在于以后互联网项目产品的原型设计自动化生成，能使生成效果更符合用户使用习惯，同时优化广告位的出现位置、时机和频率。它基于 AI 学习模型，通过视觉理解技术识别网页元素，能执行点击和输入字符操作等，但目前存在一些功能尚未支持，如处理视觉信息程度有限、不支持输入特殊键码等。 案例二：对于教师来说，有专门的 AI 减负指南。例如“AI 基础工作坊用 AI 刷新你的工作流”，从理解以 GPT 为代表的 AI 工作原理开始，了解其优势短板，学习写好提示词以获得高质量内容，并基于一线教师工作场景分享优秀提示词与 AI 工具，帮助解决日常工作中的常见问题，提高工作效率。 建议：您可以根据自身工作的具体需求和特点，有针对性地选择学习方向。如果您只是想快速应用 AI 提高工作效率，可以先从了解常见的 AI 工具和应用场景入手，掌握基本的操作和提示词编写技巧。但如果您希望更深入地理解和优化 AI 在工作中的应用，了解技术原理会有一定帮助。

以下是一些 AI 相关的前沿技术网站： 1. OpenAI：提供了诸如 GPT 等先进的语言模型和相关技术。 2. Google AI：涵盖了多种 AI 领域的研究成果和应用。 3. Microsoft Research：在 AI 方面有众多创新研究和技术展示。 此外，WaytoAGI 也是一个致力于人工智能学习的中文知识库和社区平台，汇集了上千个人工智能网站和工具，提供最新的 AI 工具、应用、智能体和行业资讯。在没有任何推广的情况下，WaytoAGI 两年时间已有超过 300 万用户和超千万次的访问量，其目标是让每个人的学习过程少走弯路，让更多的人因 AI 而强大。目前合作过的公司/产品包括阿里云、通义千问、淘宝、智谱、支付宝等。

当前 AI 数字人的发展呈现出以下新态势，并取得了一系列新技术和成果： 数字人简介： 数字人是运用数字技术创造的，虽现阶段未达科幻作品中的高度智能，但已在生活多场景中出现且应用爆发。业界对其尚无准确定义，一般可按技术栈分为真人驱动和算法驱动两类。真人驱动的数字人重在通过动捕设备或视觉算法还原真人动作表情，主要用于影视和直播带货，其表现质量与建模精细度及动捕设备精密程度相关，不过视觉算法进步使在无昂贵动捕设备时也能通过摄像头捕捉关键点信息实现不错效果。 B 端变现与创业方向： B 端变现细分包括高频率和大规模的内容生产细分，如文字、视频、3D 模型、AI 智能体等，底层是需求和数据收集及训练模型，算力和能源是关键。自媒体创业需具备内容创新和差异化，内容成本低且更新迭代快。游戏创业可做轻量化游戏，结合 AI 技术满足放松和社交需求，专注垂类赛道避免与大厂竞争。影视创业在 25 年将是拐点，更多内容会采用 AI 技术。广告营销创业重点是 AI 虚拟人，数字插画可走治愈类型，要明确平台用户画像和产品定位，做好次留存和引入私域。 AI 虚拟人的发展与创业机遇： AI 虚拟人从早期以首位为核心的宅文化虚拟偶像，发展到以 CG 技术和动捕语音合成技术为核心的角色，再到如今以动捕和人工智能技术为核心的服务型虚拟人。虚拟人产业链包括基础层的硬件和软件研发，平台层如商汤、百度等提供工具和系统，应用层涉及影视、传媒、游戏、金融、文旅等内容变现。未来 3 10 年，AI 虚拟人是 Web 3.0 的风口，提前布局有潜力的赛道可迎接机遇，但创业对创业者综合能力要求极高。 未来展望： 数字人未来有很多应用场景，如家庭中的数字人管家、学校中的数字人老师、商场里的数字人导购等。未来还会有很多技术突破，如将五感数据和躯壳控制参数作为输入，次世代算法可自我迭代升级和自行演化躯壳控制方式。通过 Dify 搭建数字人的开源项目可展现低门槛高度定制数字人的基本思路，数字人的核心在于 Agent 即灵魂，如何在 Dify 上编排专属数字人灵魂值得体验。期望随着数字人的多模态能力接入、智能化水平升级、模型互动控制更精确，AI 既能提供高质量信息，也能关注用户情绪。