Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何控制图生图的形象和动作呢

Answer

要控制图生图的形象和动作,可以参考以下方法:

  1. 使用 ControlNet 插件:
    • 姿态约束类预处理器:包含了所有人物信息的预处理器,可将图片发送到图生图,通过“缩放后留白”和提高重绘幅度改变背景,再次发送到图生图使用 ControlNet 中 tile 模型细化,最后使用 SD 放大插件。
    • 自定义动作骨架:在【扩展】-【加载扩展列表】中搜索【posex】安装插件,或将插件文件夹拷贝至指定目录,确保软件是最新版本并重启。重启后点击“将图片发送至 ControlNet”,可通过拖动鼠标左键旋转视角、中键缩放视角、右键拖动视角,玩坏了可点击重置镜头和动作。
  2. 参考风格 reference:首先进入文生图,填写提示词生成一张图。然后将图片拖入到 ControlNet 中,预处理器选择 reference only,控制模型选择“均衡”,保真度数值越高对图片的参考越强。可以通过添加关键词的方式来改变人物的服装、表情、动作等。
  3. 利用 ControlNet 控制姿势:大模型和关键词正常填写生成想要的小姐姐照片,接着鼠标滑到最下面点击“ControlNet”,上传指定姿势的照片并点击“启用”,在“预处理器”和“模型”里选择“openpose”,点击“预览预处理结果”,最后点击生成照片。
Content generated by AI large model, please carefully verify (powered by aily)

References

【SD】最强控制插件ControlNet(2)姿态约束

包含了所有人物信息的预处理器,我们再次请出库里当一下模特,模型使用的国风3,这个动作的模仿也是让人不得不佩服AI的脑洞了。这张图蛮好看的,我决定来把她细化一下。首先,我们使用之前讲过的扩展图片的方法,将这张图发送到图生图,通过“缩放后留白”和提高重绘幅度,将这张图片的背景变宽。再次发送到图生图,使用ControlNet中tile模型(这又是一个神器,后面细讲)进行细化。这时,图片拥有了更精致的细节,最后再使用一次SD放大插件。完美。以上,就是关于ControlNet中姿态约束类预处理器的介绍,但是很多时候,我们并不能恰好找到满足我们需求的动作图片拿来给ControlNet解析,那我们可不可以自定义动作骨架呢?答案当然是可以的,作为一个开源软件,各种各样的插件帮手自然是必须有的,这也是我们这么喜欢blender的原因。我们可以在【扩展】-【加载扩展列表】中搜索【posex】,就可以找到这个插件。如果安装不了,可以直接将我分享的这个插件文件夹拷贝至这个目录下...\sd-webui-aki-v4\extensions,确保软件是最新版本,然后重启。我们重启软件后来到首页,点击“将图片发送至ControlNet”,就可以得到如下界面。拖动鼠标左键可以旋转视角。拖动鼠标中键可以缩放视角。拖动鼠标右键可以拖动视角。如果玩坏了,可以点击这里重置镜头和动作。

【SD】最强控制插件ControlNet(5)参考风格reference

首先我们进入文生图,填写一段提示词。如下:(杰作,最好的质量),一头白发的女孩坐在绿植和鲜花的田野里,温暖的灯光,模糊的前景。设置一下常规参数,先生成一张图。接下来,我们想用这个人物作为主角生成一系列其他的图。将图片拖入到ControlNet中,预处理器选择reference only,控制模型一定要选择“均衡”。保真度数值越高,对图片的参考就越强,我们先设置为1看看。可以看到,在没有明确指向性提示词的情况下,人物形象保持了一致,但是她的表情、动作、服装产生了随机的不同程度的变化。我们可以试着通过添加关键词的方式来给人物换装,比如添加“红裙子”。同时更改服装和表情,比如添加“黑色校服、哭泣”。同时更改动作和表情,比如添加“抱手、生气”。同时更改姿态,环境和表情,比如添加“在花丛中奔跑、开心”。添加“红色棒球帽,时尚卫衣,在商场逛街”。通过一系列测试,可以发现这个功能可以让我们在绘制系列插画、漫画、小说插图等等工作时,能保持主角形象的统一,也能根据情况做实时的调整,如果后期再配合lora,潜力可以想象是非常大的。

教程:超详细的Stable Diffusion教程

现在我们已经能够生成美女的照片了可以定制出独一无二的脸,换上更好看的衣服但是我们怎么才能让照片的小姐姐摆出指定的姿势呢?通过关键词去描绘动作,可是出来的照片又不太准确通过图生图去生成,可是人脸又变了那我们就可以用到这个“ControlNet”功能,翻译成中文就是控制网络简单来说就是可以用它控制照片的线条,比如人物的动作、建筑物的线条等比如,我现在想让左边照片的小姐姐摆出右边小姐姐的姿势,得到最右边的一张照片首先,大模型和关键词我们还是正常的填写生成一张我们我们想要的小姐姐的照片接着鼠标滑到最下面,点击“ControlNet”①点击空白的地方,上传我们需要指定的姿势的照片②点击“启用”③在“预处理器”和“模型”里选择“openpose”,这就是用来让计算机识别人物姿势的下一步就点击这个“预览预处理结果”接着原来照片的右边就会出现人物姿势的线条,最后点击生成照片这样我们一张指定姿势的美女小姐姐就生成啦!

Others are asking
我想图生图,生成高清矢量图
以下是关于图生图生成高清矢量图的相关内容: ControlNet 参数: 预处理器:canny,模型:control_v11p_sd15_canny 预处理器:lineart_standard,模型:control_v11p_sd15_lineart 放大高清大图: 使用 Multi Diffusion + Tiled VAE + ControlNet Tile 模型 将生成的图片发送到图生图,关键词种子会一并发送过去,重绘幅度建议 0.35,太高图片细节会发生变化 Lora 生图: 点击预览模型中间的生图会自动跳转到相应页面 模型上的数字代表模型强度,可在 0.6 1.0 之间调节,默认为 0.8 可自己添加 lora 文件,输入正向提示词,选择生成图片的尺寸(横板、竖版、正方形) 采样器和调度器新手小白可默认,迭代步数在 20 30 之间调整,CFG 在 3.5 7.5 之间调整,随机种子 1 代表随机生成图 生成的图会显示在右侧,若觉得某次生成结果不错,想要微调或高分辨率修复,可复制随机种子粘贴到相应位置 确认合适的种子和参数想要高清放大,可点开高清修复,选择放大倍数,新手小白可默认算法,迭代步数建议在 20 30 之间,重绘幅度正常在 0.3 0.7 之间调整 高清修复: 文生图高清修复原理是命令 AI 按原来内容重新画一幅,新生成绘图和原绘图细节会不同,降低重绘幅度可更接近原图,如重绘幅度 0.7 时帽子和耳机有变化,0.3 时服饰细节接近但手部可能出现问题,可通过反复抽卡、图生图局部重绘或生成多张图片后 ps 合成等解决 由于高清修复渲染耗时长,建议先低分辨率抽卡刷图,喜欢的图再用随机种子固定进行高清修复 SD 放大: 文生图画好图后发送到图生图,点击脚本选择使用 SD 放大 重绘幅度设置 0.3,放大倍率为 2,图块重叠像素设置为 64,原图尺寸加上重叠像素,如 512x768 变为 576x832,重绘幅度要保持较低数值,否则可能出现新人物
2025-04-14
我想要通过建筑草图生成效果图,有什么工具和流程可以使用
以下是使用悠船工具将建筑草图生成效果图的流程和相关介绍: 1. 基础使用: 提示词:在右侧填写提示词,右上可下载对应图片。 参数调整:参数详解参考下方「参数详解」。注意任何点击都会重新生成图片,免费用户可能会提示超出套餐,所以别乱点。最右侧是所有生成图片的略缩图。 2. 图片调整: 变化:分为细微和强烈,细微改变幅度小,强烈改变幅度大。 高清:有“直接”和“创意”两种模式,“直接”表示啥都不变直接出高清,“创意”表示在图片基础上进行微小的优化调整。 风格变化:基于生成的图片作为上传图片(垫图)再创作。 拓展:可上下左右拓展图片。 缩放:指的是镜头,比如 2x 就是镜头拉远 2 倍。 局部重绘:选择区域要大一些,太小的无法进行修改。 3. 图像参考: 在悠船中可以利用垫图和提示词配合生成符合要求的建筑、风景、文物等。只需将图片复制到悠船的提示词框里面,并填写对应的提示词描述。
2025-04-14
图生图网站排名推荐
以下是为您推荐的图生图网站排名: 1. 文生图: Imagen 3:真实感满分,指令遵从强。 Recraft:真实感强,风格泛化很好,指令遵从较好(会受风格影响)。 Midjourney:风格化强,艺术感在线,但会失真,指令遵从较差。 快手可图:影视场景能用,风格化较差。 Flux.1.1:真实感强,需要搭配 Lora 使用。 文生图大模型 V2.1L(美感版):影视感强,但会有点油腻,细节不够,容易糊脸。 Luma:影视感强,但风格单一,糊。 美图奇想 5.0:AI 油腻感重。 腾讯混元:AI 油腻感重,影视感弱,空间结构不准。 SD 3.5 Large:崩。 2. 图生视频: pd 2.0 pro:即梦生成的画面有点颗粒感,p2.0 模型还是很能打的,很适合做一些二次元动漫特效,理解能力更强,更适合连续运镜。 luma 1.6:画面质量挺好,但是太贵了。 可灵 1.6 高品质:YYDS! 海螺01live:文生视频比图生视频更有创意,图生也还可以,但是有时候大幅度动作下手部会出现模糊的情况,整体素质不错,就是太贵了。 runway:我的快乐老家,画面质量不算差,适合做一些超现实主义的特效、经特殊就容镜头的。 智谱 2.0:做的一些画面特效挺出圈的,适合整过,但是整体镜头素质还差点,好处就是便宜,量大,管饱,还能给视频加音效。 vidu1.5:二维平面动画的快乐老家,适合做特效类镜头,单镜头也很惊艳,大范围运镜首尾帧 yyds!就是太贵了!!!!! seaweed 2.0 pro:s2.0 适合动态相对小的,更适合环绕旋转运镜动作小的。 pixverse v3 高品质:pincerse 的首尾帧还是非常能打的,就是画面美学风格还有待提升的空间。 sora:不好用,文生视频挺强的,但是最需要的图生视频抽象镜头太多,半成品都算不上,避雷避雷避雷,浪费时间。 3. 小白也能使用的国内外 AI 生图网站: 可灵可图 1.5:https://app.klingai.com/cn/texttoimage/new 通义万相(每日有免费额度):https://tongyi.aliyun.com/wanxiang/creation 文心一言:https://yiyan.baidu.com/ 星流(每日有免费额度):https://www.xingliu.art/ Libiblib(每日有免费额度但等待较久):https://www.liblib.art/
2025-04-13
图生 视频
以下是关于图生视频的相关内容: 工具教程:清影 什么是图生视频:输入一张图片+相应的提示词,清影大模型将根据提示将图片转变为视频画面。您也可以只输入一张图片,清影大模型将自行发挥想象力,把图片扩展为一段有故事的视频。 两个小技巧: 选用尽可能清晰的图片,上传图片比例最好为 3:2(横版),清影支持上传 png 和 jpeg 图像。如果原图不够清晰,会影响模型对图片的识别,可以采用分辨率提升工具将图片变清晰。 提示词要【简单清晰】:可以选择不写 prompt,直接让模型自己操控图片动起来;明确您想动起来的【主体】并以「主体」+「主题运动」+「背景」+「背景运动」的方式撰写提示词(一定要有主体,不然可能会出现 AI 狂乱景象)。如果您不明确大模型如何理解您的图片,推荐将照片发送到清言对话框进行识图,明确您的【主体】该如何描述。 视频演示 |首帧图|PROMPT|视频(配音版)|视频(纯享版)| ||||| |1、泳池里的小鸭子|Little yellow duck toy floating on the water in the swimming pool,closeup|| |2、洞穴文明|The primitive man raises his hand.The camera zooms out.|| |3、魔法少女|A woman reaches out to touch the glowing box.Particle effects.|| |4、离别列车上的小狗|a dog with Furry white claws the bus window with reflections on the glass,Furry white claws,closeup,ultrarealistic|| |5、古典美女|celine,classic photograph from Life magazine|| |6、废土黑雨|游戏场景在下雨,人物看起来非常担心|| 工具教程:PixVerse V2 单个视频生成(8s):8s 的视频生成需要花费 30 Credits,5s 的视频生成需要花费 15 Credits,且只能使用 PixVerse V2 模型,生成时请注意模型选择。目前仅支持 16:9 画面比例的视频生成。 文生视频:点击“Text to Video”,在“Model”选择“PixVerse V2”,视频时长。PixVerse V2 支持多风格的视频生成,您可以通过在提示词中加入“Anime”,“Realistic”等词语做到这点。 图生视频:点击“Image to Video”,在“Model”选择“PixVerse V2”,视频时长。图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能,如需要使用上述功能,请将模型切换至“PixVerse V1”。
2025-04-13
手绘草图生成图片
以下是关于手绘草图生成图片的相关信息: ComfyUI Flux 与 runway 制作绘画视频: 生成图片:提示词告诉 flux 生成一张技术草图,如 CAD。 绘制的视频:在 runway 里面,使用提示词,从空白页面开始逐行创建,并把生成的图片作为尾帧。 草图上色:使用 flux 的 controlNet,depth 固定,Union 版本不建议权重调太高,结束时间也不宜过长。 生成上色后的视频: how2draw Flux lora:分享一个好玩的 flux lora,触发词为 how2draw。 图片生成 3D 建模工具: Tripo AI:在线 3D 建模平台,能利用文本或图像在几秒钟内生成高质量且可立即使用的 3D 模型。 Meshy:功能全面,支持文本、图片生成 3D 以及 AI 材质生成。 CSM AI:支持从视频和图像创建 3D 模型,Realtime Sketch to 3D 功能支持通过手绘草图实时设计 3D 形象。 Sudo AI:支持通过文本和图像生成 3D 模型,适用于游戏领域。 VoxCraft:免费 3D 模型生成工具,能将图像或文本快速转换成 3D 模型。 【SD】真人转二次元: 使用 Stable Diffusion 中的【X/Y/Z plot】脚本做参数对比,X 轴为提示词相关性(130,每次增加 5),Y 轴为重绘幅度(01,每次增加 0.2)。 提示词相关性在 6—11 中间为最佳,大于 11 后画面色彩和脸型可能崩坏,重绘幅度大小可控制生成图与原图的相似度。 绘图功能:如增加红色眼镜、去掉衣服图案、局部重绘(手涂蒙版)修改部分等。
2025-04-01
怎么用图生成png格式的新图
以下是用图生成 PNG 格式新图的方法: 使用 Stable Diffusion: 1. 若在网上看到好看的大佬的图,将其导入 SD。若能识别,右边会自动弹出照片的信息,包括正面关键词、负面关键词,还有其他种子、大模型等信息。 2. 复制这一大串信息,来到“文生图”页面,粘贴到关键词的文本框中。 3. 点击“生成”按钮下面的第一个小按钮,SD 会自动分配信息,在有相同大模型和 Lora 的前提下,点击生成,可能得到差不多的照片。 4. 若导入照片后右边未出现生成信息,说明照片不是直接从 SD 下载下来的 PNG 格式照片,此时可使用“标签器(Tagger)”来生成照片的关键词。 使用 OpenAI 的图像生成端点: 1. 图像生成端点允许在给定文本提示的情况下创建原始图像,生成的图像大小可为 256x256、512x512 或 1024x1024 像素,较小尺寸生成速度更快。可使用参数一次请求 1 10 张图像。描述越详细,越有可能获得想要的结果,也可在 DALL·E 预览应用程序中探索示例获取更多提示灵感。 2. 图像编辑端点允许通过上传蒙版来编辑和扩展图像。遮罩的透明区域指示应编辑图像的位置,提示应描述完整的新图像,而不仅仅是擦除区域。上传的图片和遮罩必须是小于 4MB 的正方形 PNG 图片,且尺寸相同。生成输出时不使用遮罩的非透明区域。
2025-03-27
我有一份青年创新讲稿,想用自己的数字形象和我自己的声音讲解,背景要做一些和讲稿内容相符的视频。什么工具最称手呢?
以下是一些适合您需求的工具: 1. HeyGen:这是一个 AI 驱动的平台,能创建逼真的数字人脸和角色。它运用深度学习算法生成高质量肖像和角色模型,适用于游戏、电影和虚拟现实等领域。 2. Synthesia:一个 AI 视频制作平台,允许创建虚拟角色并进行语音和口型同步,支持多种语言,可用于教育视频、营销内容和虚拟助手等场景。 3. DID:一家提供 AI 拟真人视频产品服务和开发的公司,只需上传人像照片和输入要说的内容,平台的 AI 语音机器人会自动转换成语音,然后合成逼真的会开口说话的视频。 此外,还有以下工具供您参考: 1. 开源且适合小白用户的工具:具有一键安装包,无需配置环境,简单易用。其功能包括生成数字人视频,支持语音合成和声音克隆,操作界面中英文可选,系统兼容 Windows、Linux、macOS,模型支持 MuseTalk(文本到语音)、CosyVoice(语音克隆)。使用时需下载 8G+3G 语音模型包,启动模型即可。相关链接:GitHub: 2. Google Veo 2:能生成逼真的 Vlog 视频,效果接近真实,几乎难以分辨,适合创作和内容制作。相关链接: 请注意,这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时,请确保遵守相关使用条款和隐私政策,并注意对生成内容的版权和伦理责任。
2025-04-02
我上传一个ai人物形象,有什么AI能驱动他当做数字人来口播,免费的那种
以下为您介绍一些可以免费驱动 AI 人物形象当做数字人进行口播的工具及使用方法: 1. HEYGEN: 优点:人物灵活,五官自然,视频生成很快。 缺点:中文的人声选择较少。 使用方法: 点击网址注册后,进入数字人制作,选择 Photo Avatar 上传自己的照片。 上传后效果如图所示,My Avatar 处显示上传的照片。 点开大图后,点击 Create with AI Studio,进入数字人制作。 写上视频文案并选择配音音色,也可以自行上传音频。 最后点击 Submit,就可以得到一段数字人视频。 2. DID: 优点:制作简单,人物灵活。 缺点:为了防止侵权,免费版下载后有水印。 使用方法: 点击网址,点击右上角的 Create vedio。 选择人物形象,可以点击 ADD 添加您的照片,或者使用 DID 给出的人物形象。 配音时,可以选择提供文字选择音色,或者直接上传一段音频。 最后,点击 Generate vedio 就可以生成一段视频。 打开自己生成的视频,可以下载或者直接分享给朋友。 3. KreadoAI: 优点:免费(对于普通娱乐玩家很重要),功能齐全。 缺点:音色很 AI。 使用方法: 点击网址,注册后获得 120 免费 k 币,这里选择“照片数字人口播”的功能。 点击开始创作,选择自定义照片。 配音时,可以选择提供文字选择音色,或者直接上传一段音频。 打开绿幕按钮,点击背景,可以添加背景图。 最后,点击生成视频。 4. 剪映: 优势:作为字节跳动旗下的产品,在抖音平台上被广泛应用,海外版 CapCut 也有出色表现。其拥有六大 AI 功能,能在编辑器里完成脚本生成、语音克隆、数字人口播等环节。 下载地址:剪映 制作流程: 打开剪映,添加一个文本到文字轨道,并修改好需要朗读的文字。 点击朗读,并进行声音克隆,剪映的声音克隆现在只用念一句话就可以完成克隆。 克隆完成后,选择喜欢的数字人形象,并把自己的克隆音色换上去。 一键智能生成字幕,再自行调整文字样式并校准。 生成数字人: 在剪映右侧窗口顶部,打开“数字人”选项,选取一位免费的、适合的数字人形象。 当选择一个数字人形象时,软件会马上播放出该数字人的声音。点击右下角的“添加数字人”,就会将选择的数字人添加到当前视频中。 左下角会提示渲染何时完成。然后可以点击预览按钮,查看生成的数字人效果。 增加背景图片: 可以直接删除先前导入的文本内容。 为视频增加背景图片,点击左上角的“媒体”菜单,并点击“导入”按钮,来选择本地的一张图片上传。 点击图片右下角的加号,将图片添加到视频的轨道上(会覆盖数字人)。 点击轨道最右侧的竖线,向右拖拽,直到视频的最后,也就是和视频对齐。
2025-03-27
结合北京房山区文化、地标建筑、生态景观等内容,设计房山区中小学数学节 LOGO,要求巧妙融合数学元素(如几何图形、数学公式、数学符号等)与 AI 元素(如神经网络图案、代码片段、智能机器人形象等),生动诠释 “数学 + AI=?” 的主题内涵。
以下是为您整合的相关内容: 北京具有丰富多样的特色元素,包括经典地标如万里长城、天安门广场、故宫角楼、天坛等,见证了历史变迁;宜居生活方面,有独特的美食如豆汁儿、脆皮烤鸭、老北京炸酱面,以及充满京腔的日常生活;潮流文化新地标如国家博物馆、胡同里的新老交融、环球影城、798 等;未来科技方面,有西二旗的上班族日常、北大化学系科研 vlog、世界机器人大会等。 在海报设计方面,若对 AI 回答有疑问可再搜索确认,对于想用的项目要确认与北京的关系及能否使用;兔爷、戏曲金句等北京有名元素可用,金句可分化。做海报时可借鉴三思老师毛绒玩具美食系列,先找参考、做头脑风暴。比赛征集内容有四个赛道,若做系列海报,围绕金句或偏向北京非遗项目做系列较简单。用 AI 制作海报时,如制作北京地标糖葫芦风格海报,可用集梦 2.1 模型,以天坛等建筑为画面中心,注意材质、抽卡选图和细节处理。 对于设计房山区中小学数学节 LOGO,您可以考虑将房山区的特色文化、地标建筑、生态景观与数学元素(如几何图形、数学公式、数学符号等)和 AI 元素(如神经网络图案、代码片段、智能机器人形象等)相结合。例如,以房山区的著名建筑为主体,融入数学图形进行变形设计,同时添加一些代表 AI 的线条或图案,以生动诠释“数学 + AI=?”的主题内涵。
2025-03-18
形象照生成软件
以下是一些与形象照生成相关的内容: DALL·E 自动优化提示词:提供了关于绘画和数字方面的提示内容,包括提及绘画的种类、画布纹理、笔触形状和纹理,以及软件使用、阴影技术和多媒体方法等。还包括使用 DALL·E 3 生成图像的相关要求,如默认的方面比例、风格等,并强调遵循提示指南,避免违反服务条款和版权问题。 Han:优质 Prompts 分类精选 摸鱼辅助:可以帮助内向的人生成得体且简短的自我介绍和像素风格名片,通过提出一系列问题收集信息,然后生成自我介绍并结合形象照生成数字名片。 制作个人奥运头像:选用 MJ 软件进行生图,先生成基础图片,再对脸部重绘。输入部分使用 ChatGPT 生成人物描述,结合范例提示词添加中国人、中国运动服和项目场景描述,进行 MJ 绘图测试和局部重绘,还提到了处理流程图。
2025-03-12
哪些软件可以将2D形象转换为3D
以下是一些可以将 2D 形象转换为 3D 的软件: 1. Kaedim:专注于从图像到 3D 的转换。 2. Mirage:专注于从文本到 3D 的转换。 3. Hypothetic:对从文本到 3D 的搜索以及从图像到 3D 的转换都感兴趣。 4. Nvidia 的 Get3D:专注于从图像到 3D 的转换。 5. Autodesk 的 ClipForge:专注于从文本到 3D 的转换。 6. Tripo AI:能够利用文本或图像在几秒钟内生成高质量且可立即使用的 3D 模型。 7. Meshy:不仅支持文本生成 3D,还支持图片生成 3D 以及 AI 材质生成。 8. CSM AI:支持从视频和图像创建 3D 模型。 9. Sudo AI:支持通过文本和图像生成 3D 模型,特别适用于游戏领域的模型生成。 10. VoxCraft:能够将图像或文本快速转换成 3D 模型,并提供了图像到 3D、文本到 3D 和文本到纹理等多种功能。
2025-03-06
如何让文生图片保持形象一致
要让文生图片保持形象一致,可以参考以下方法: 1. 首先进入文生图,填写提示词,例如“,一头白发的女孩坐在绿植和鲜花的田野里,温暖的灯光,模糊的前景”,设置常规参数生成一张图。 2. 若想以该人物为主角生成一系列其他图,将图片拖入到 ControlNet 中,预处理器选择 reference only,控制模型选择“均衡”,先将保真度数值设置为 1。 3. 在没有明确指向性提示词的情况下,人物形象能保持一致,但表情、动作、服装可能产生随机变化。 4. 可以通过添加关键词来给人物换装、更改服装和表情、更改动作和表情、更改姿态、环境和表情等,比如添加“红裙子”“黑色校服、哭泣”“抱手、生气”“在花丛中奔跑、开心”“红色棒球帽,时尚卫衣,在商场逛街”。 5. 像制作典籍类作品时,可对主要人物先出一版形象照,后续所有画面用“cref”做人物一致性的操作。 通过以上一系列操作和测试,可以发现这些功能在绘制系列插画、漫画、小说插图等工作时,能保持主角形象的统一,也能根据情况做实时的调整,若后期再配合 lora,潜力非常大。
2025-03-02
国外免费的动作模仿AI
以下为您介绍国外免费的动作模仿 AI: 在 SD 中,ControlNet 是一个强大的插件,包含姿态约束类预处理器。可以使用扩展图片的方法将图片发送到图生图进行处理,还能使用 tile 模型细化。若无法找到满足需求的动作图片,可在【扩展】【加载扩展列表】中搜索【posex】插件,或拷贝插件文件夹至指定目录并重启软件。在 ControlNet 界面,可通过拖动鼠标左键旋转视角、中键缩放视角、右键拖动视角,玩坏了还能重置镜头和动作。 Viggle 是一个有免费额度的 AI 视频工具,其网址为 http://viggle.ai,discord 免费体验地址为 https://discord.com/invite/viggle 。它支持图片+动作视频转视频、图片+文字动作描述转视频、文字转视频,可完成视频换脸。其功能包括/mix、/animate、/ideate、/character、/stylize 等,官方提供了多种动作提示词可供参考,提示词地址为 https://viggle.ai/prompt 。
2025-03-31
视频生成人物动作不准确
目前在视频生成人物动作方面存在不准确的情况。例如,使用 Midjourney 生成时,过多角色(甚至可能是 2 个)的生成效果不佳,对于拟人角色的需求较难满足。像小龙喷火到小兔子举着礼物盒这样的场景,难以生成满意的效果。在让角色做出较大动作(如转头、掉眼泪、抬手等)或更生动的表情变化时,现有技术有限,还需更先进的技术、丰富的数据和强大的计算能力。 解决策略方面,应尽量规避制作需要大动作表现的视频。若无法避免,可尝试制作只涉及小动作的场景,并通过加入台词和场景描述来补充细节和深度,帮助观众更好地理解场景背景和角色心理,增强表现力,以弥补视觉上的不足。 相关技术如 LivePortrait 可以精确控制眼睛和嘴唇的动作,还能无缝拼接多个肖像,将不同人物特征合并成一个视频,确保过渡自然流畅。其使用了不同于主流扩散方法的隐式关键点框架,在计算效率和可控性之间取得平衡,生成的动画质量优于现有的非扩散和扩散模型方法,在 RTX 4090 GPU 上生成速度为每帧 12.8 毫秒。 工作流与模型地址: https://pan.baidu.com/s/1FkGTXLmM0Ofynz04NfCaQ?pwd=cycy https://pan.quark.cn/s/8dfd7ace4f05 内容依技术发展更新,请以文档为准:https://xiaobot.net/post/74238a84d2734b2ca195ed2858b24ffe
2025-03-05
生成漫画动作参考图
以下是一些生成漫画动作参考图的方法: 1. 喂参考图:先上传喜欢的参考图,复制其链接。在关键词处填写“图片链接+这张图的关键词”,例如“链接图片.png,a Super cute sports girl,wearing a basketball vest,blueshortsbig watery eyes,clean bright basketball court background,super cute boy IP by pop mart,Bright color,mockup blind box toydisney stylefine luster,3D render,octane render,best quality,8k brightfront lightingFace Shot,fine luster,ultra detail,ar 9:16”。还可以通过修改关键词改变服装颜色等细节。 2. 使用 panels 命令:此命令可生成连续的动作和表情设计,将模型设置改为 niji mode 画动漫角色效果更好。例如“a Super cute sports anime girl,style by Miyazaki Hayao,6 panels with different poses 8K”,也可以使用“continuous running”生成更稳定的连续动作,甚至做成 gif 动画。 3. 利用 character sheet 命令:创建一个角色的多角度以及特写细节,例如“a Super cute sports anime girl,style by Miyazaki Hayao,character sheet,full body,8k”。 4. 使用 emoji、expression sheet:emoji 代表表情包,expression sheet 代表各种表情组合,可用此核心关键词设计出表情包。例如“图片链接.png a Super cute sports anime girl,style by Miyazaki Hayao,emoji,expression sheet,8k”。 另外,使用 ControlNet 插件也能生成漫画动作参考图。首先进入文生图,填写提示词生成一张图。然后将图片拖入到 ControlNet 中,预处理器选择 reference only,控制模型选择“均衡”,保真度数值越高,对图片的参考越强。可以通过添加关键词的方式给人物换装、更改服装和表情、更改动作和表情、更改姿态、环境和表情等。这个功能在绘制系列插画、漫画、小说插图等工作时,能保持主角形象的统一,也能根据情况实时调整,后期配合 lora 潜力巨大。
2025-02-11
我想知道目前最新、效果最好、代码和模型开源的动作捕捉算法,也叫做人体姿态估计,是哪篇文章
目前最新、效果较好且代码和模型开源的人体姿态估计(动作捕捉算法)相关的研究有以下两篇: 1. 【SD】最强手部识别,controlnet 新预处理器 dw openpose 作者:白马少年|公众号:【白马与少年】 发布时间:20230813 20:00 原文网址:https://mp.weixin.qq.com/s/_RiKxWy9MXt4DUJIKH5w 介绍:在 controlnet 中,手部识别一直使用的是 openpose 预处理器,但复杂手势有时无法识别。新的 dw openpose 预处理器能完美解决手部识别问题,将其放入特定目录即可使用。但需说明的是,目前这个 DW Pose 只是更精确的 openpose 预处理器,未对 ControlNet 的 openpose 模型做改动。 2. YOLONAS Pose:一个开源的实时人体姿态估计模型 应用场景:基于骨骼标记为基础,适用于智慧体育等场景,可对训练过程的姿态、数据、状态等进行统计和管理。 技术类型:视频、AI 学习模型 简介:主要功能是识别图片和视频中人的姿势,能快速处理图像并实时返回姿态数据,适应不同场景和设备。 主要特点: 实时性能:旨在提供实时的姿态估计,适用于需要即时反馈的应用。 高精度:利用神经网络架构搜索(NAS)提高姿态估计的准确性。 优化的网络结构:NAS 自动测试不同网络结构,找到最优模型。
2024-12-31
midjourney中如何结合A图片的人物和B图片的动作和内容
在 Midjourney 中结合 A 图片的人物和 B 图片的动作和内容,可以使用新上线的“Character Reference”(cref)功能。以下是一些关键方法和示例: 1. 锚定细节:您可以掌控姿势、表情、情感、服装、道具、场景、动作等细节。例如:“Jo is a young woman with blue curly hair, pink sunglasses, and a colorful scarf around her neck. She waits in line at the bank. cref https://my.image.host/joisstanding.jpg”。 2. 让 cref 处理大部分工作:提示无需加强标志性细节,只是“操纵”或“定位”角色。例如:“有人正在银行排队等候。 cref https://my.image.host/joisstanding.jpg”。 3. 只提供场景:如果您的 cref 图像已包含想要的姿势和其他细节,您可以仅描述环境、周围环境、背景或情境,Midjourney 将努力将角色融入场景中。但可能会出现不连贯的结果,此时可尝试使用更高值的样式化,如“s 800”。 需要注意的是,此功能在使用 Midjourney 生成的图像人物时效果最佳,不太适用于真实人物或照片。同时,在 Midjourney V6 的 Web Alpha 版本中,您可以通过拖放或粘贴图像到想象栏,并选择相应图标来设置图像为图像提示、风格参考或角色参考。
2024-11-18
视频导出动作的AI
以下是关于视频导出动作的 AI 相关信息: AI 视频导出方面:普通社交媒体分享选 1080P,需放大选 720P,码率越高越好,可自定义最高 5 万。 Move AI 推出的 Move API 能从 2D 视频生成 3D 运动数据,支持多种 3D 文件格式导出,为 AR 应用、游戏开发等提供高质量 3D 运动数据,相关链接为 https://move.ai/api 。
2024-11-05
自动化控制电脑
以下是关于自动化控制电脑的相关信息: Google 正在开发名为“Project Jarvis”的 AI 项目,预计年底亮相。该项目旨在实现 AI 自动化操作 Chrome 浏览器中的任务,借助升级版 Gemini 2.0。“Jarvis”作为 Chrome 扩展短暂曝光,可作为上网伴侣,帮助用户完成自动化任务,通过截图分析屏幕内容,使用 Gemini 2.0 模型决定执行操作,例如预订餐厅或下单,预计将在 Gemini 2.0 发布后上线,可能在下个月。 目前没有更多关于自动化控制电脑的其他详细内容。
2025-04-10
我想学习ai视频ai生图的相关技能,并且我不想速成,我想了解其中的底层原理以便可以更好的控制生成的内容,我应该如何学习
以下是关于学习 AI 视频和生图相关技能的一些建议: 一、基础概念 1. 模型 Checkpoint:生图必需的基础模型,任何生图操作必须选定一个才能开始。 Lora:低阶自适应模型,可视为 Checkpoint 的小插件,用于精细控制面部、材质、物品等细节。 VAE:编码器,功能类似于滤镜,可调整生图的饱和度,一般选择 840000 这个。 2. 提示词 Prompt 提示词:想要 AI 生成的内容,需要花费功夫学习,可从照抄别人开始。 负向提示词 Negative Prompt:想要 AI 避免产生的内容,同样需要学习,可从照抄开始。 3. 其他概念 ControlNet:控制图片中特定图像,如人物姿态、特定文字、艺术化二维码等,属于高阶技能,可后续学习。 ADetailer:面部修复插件,用于治愈脸部崩坏,是高阶技能。 二、参数设置 1. 迭代步数:AI 调整图片内容的次数。步数越多,调整越精密,出图效果理论上更好,但耗时越长,且并非越多越好。 2. 尺寸:图片生成的尺寸大小,需适中选择,太小生成内容有限,太大 AI 可能放飞自我。 3. 生成批次和每批数量:决定重复生成图的批次和每批次同时生成的图片数量。 4. 提示词引导系数:指图像与 prompt 的匹配程度,数字增大图像更接近提示,但过高会使图像质量下降。 5. 随机数种子:固定后可对图片进行“控制变量”操作,首次生成图时无需关注。 6. 重绘幅度:图生图时用到,幅度越大,输出图与输入图差别越大。 在学习过程中,您可以先从熟悉基础模型、提示词和常见参数设置入手,通过实践和参考他人的经验不断积累知识,逐步掌握更高级的技能和工具。
2025-03-24
基于PLC的智能仓储控制系统设计
很抱歉,目前知识库中没有关于“基于 PLC 的智能仓储控制系统设计”的相关内容。但一般来说,设计这样一个系统需要考虑以下几个方面: 1. 需求分析:明确仓储系统的功能要求、存储容量、货物类型和操作流程等。 2. PLC 选型:根据系统规模和控制要求选择合适的 PLC 型号。 3. 传感器和执行器配置:选择合适的传感器来检测货物位置、状态等信息,以及确定执行器如电机、气缸等的类型和数量。 4. 控制程序编写:使用相应的编程软件编写 PLC 控制程序,实现货物的入库、出库、存储位置管理等功能。 5. 人机界面设计:提供直观、易于操作的人机界面,方便操作人员监控和控制系统。 6. 系统调试与优化:对设计好的系统进行调试,优化控制参数,确保系统稳定可靠运行。 希望以上这些通用的思路能对您有所帮助,如果您需要更详细准确的信息,建议查阅相关的专业书籍和技术资料。
2025-03-12
生成视频不受提示词控制怎么办
如果生成视频不受提示词控制,可以考虑以下方法: 1. 向提示添加其他描述符,以便更好地控制生成的视频内容,例如: 电影摄影术语,如浅景深、胶片拍摄和电影。 构图术语,如广角、特写、从上方拍摄和从下方拍摄。 照明术语,如背光、柔光和硬光等。 颜色分级术语,如饱和色、高对比度以及暖色调或冷色调。 情绪或语气术语,如 somber、tense、euphoric 和 mysterious。 摄像机移动术语,如向右或向左平移、向上或向下倾斜以及推拉或向外移动。 2. 对于海螺 AI: MiniMax 视频模型不仅可以准确识别用户上传的图片,并确保所生成视频在形象保持上与原输入图像高度一致,且光影、色调完美嵌入新场景的设定,为创作者提供连贯、深度创作的空间。 在指令响应方面,还能理解超出图片内容之外的文本,解构指令框架和深层语义并在视频生成中整合,实现“所写即所见”。 只依靠模型综合能力,就能实现最顶级的影视特效。 人物表情控制力强,5 秒钟内实现从开怀大笑到掩面哭泣,让视频表达更能深入人心。 近期,海螺 AI 视频同步上线了提示词优化功能,即使在大家对特定的构图、氛围、动作或运镜没有特殊指定要求时,建议开启此功能,聪明的海螺 AI 会结合原始 Prompt 扩展视频的美学呈现。同时,对于更专业的创作者,开放 2000 字的提示词空间,让创作更加精准。 3. 使用 Camera Motion 时: 点击“AddImage”上传图片。 在“Prompt”中输入提示词。 选择您想要的运镜方向,输入。 运动幅度和画面主体运动幅度有关,与运镜大小无关,可以设置成您想要的任意值。 选择好种子(seed),是否高清(HD Quality),是否去除水印(Remove Watermark)。 点击“create”,生成视频。
2025-02-18
使用O1来控制智能硬件
O1 是一个完全开源的可以控制家里电脑的 AI 语音智能助手。它能够看到您的屏幕内容,学习使用您常用的应用,无论您身在何处,都能通过按下按钮、讲话让它帮您操作电脑完成任务。其 CAD 文件、电路设计、代码完全开源,有能力的开发者可以直接制作该设备。灵感来自 Andrej Karpathy 的 LLM 操作系统,10 月份他的 LLM 科普视频含金量仍在上升。O1 运行一个代码解释语言模型,并在计算机内核发生特定事件时调用它。项目地址:https://github.com/OpenInterpreter/01
2025-02-05
控制模特的姿势
以下是关于控制模特姿势的方法: 在使用相关 AI 工具时,如 Stable Diffusion 等,有以下几种控制模特姿势的方式: 1. 使用蒙版和提示词:输入相关提示词,如“蓝色毛衣”,处理蒙版区域内容为“填充”,调整尺寸与图像一致,重绘幅度为 1。但可能会出现衔接问题,此时可降低重绘幅度或添加 openpose 来控制人物身体,获得正确姿势。 2. 利用 ControlNet 功能: 正常填写大模型和关键词生成照片。 鼠标滑到最下面,点击“ControlNet”。 点击空白处上传指定姿势的照片,并点击“启用”。 在“预处理器”和“模型”里选择“openpose”,用于让计算机识别人物姿势。 点击“预览预处理结果”,最后点击生成照片,即可得到指定姿势的照片。 在 ControlNet 参数配置方面: tile 用于对整体画面的控制,可选择分块+固定颜色+锐化,以保证颜色统一降低后续闪烁,不需要全过程引导,仅在开始时固定画面。 lineart 用于提取人物线条,保证人物整体不跑偏,权重给到 0.6 以控制整体画面输出稳定。 openpose 用于控制人物的姿态、表情和动作,推荐使用 DWpose 处理器,其对面部和手部的识别效果较好。
2025-01-17