Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

姿势识别

Answer

姿势识别是一个涉及多个方面的技术领域，以下为您详细介绍：

  • 视频模型中的姿势识别：包括对不同人物姿态的识别，如站立、坐下、躺卧等。同时也会对不同面部特征进行识别，涵盖不同年龄、性别、种族等。
  • 设计中的姿势识别：涉及手势与肢态的 CV 交互，包含众多相关技术，如手部姿势估计、动态手势识别、手部骨骼点检测、姿态识别等。
  • 在【SD】最强控制插件 ControlNet 中：姿态约束类模型可以通过生成的骨架来规定绘图中人物的动作和表情。其中 openpose 可以直接解析出人物的动作骨架，ControlNet1.1 版本除身体姿态外，还增加了更详细的脸部和手部的预处理器，如 openpose_face 解析姿态和脸部，openpose_faceonly 仅解析脸部，openpose_hand 解析姿态和手部，openpose_full 解析姿态、手部及脸部。但在实际应用中也存在一些限制，如 openpose_faceonly 对卡通二次元角色不起作用，openpose_hand 在手部骨架与身体骨架重合时可能产生问题。
Content generated by AI large model, please carefully verify (powered by aily)

References

视频模型：可灵

[RNFetchBlobTmp_eikia7r8vmaih5obs25h4i.MP4](https://bytedance.feishu.cn/space/api/box/stream/download/all/VbzKbP5MFoTc4KxIi2zc0dNvnye?allow_redirect=1)1.人物识别面部识别:测试模型对不同面部特征的识别能力，包括不同年龄、性别、种族等。一组不同年龄段的人，包括儿童、青少年、成年人和老人。[RNFetchBlobTmp_gxa3e60bae99mjy4oje9q4.MP4](https://bytedance.feishu.cn/space/api/box/stream/download/all/Gtb2bpYujoqApaxAHizcgG7ynfc?allow_redirect=1)不同种族的人物面部图像。（好像是一样的）[RNFetchBlobTmp_8bhih08p6tvl96vnlssb58.MP4](https://bytedance.feishu.cn/space/api/box/stream/download/all/HTyObLXY8orgUrx8hm4c9y6pnaf?allow_redirect=1)姿态识别:评估模型对不同人物姿态的识别能力，例如站立、坐下、躺卧等。一个人站立在房间中。[RNFetchBlobTmp_6etbw11019whheakzdb8r4.MP4](https://bytedance.feishu.cn/space/api/box/stream/download/all/W9dibB55Ro6Gl7x0y9fcxos3neb?allow_redirect=1)一个人躺在床上（啊？2个人）

设计：AIGC世代的设计新范式 ver东华.pdf

12分自药]先随便点几个音让歌姬哼哼出来一段完整的AI歌姬创作案例,作者抖音号:MAJORNINEDigitwin:00:0000:15:00:0000:30:00:0000:45:00:0001:00:00:0001:15NVAutoPod MULTI-CAMERA EDITOR[MC4]EliManningCam4.mp4[MC3]Untitled CAM 3 01.braw[MC2]Untitled CAM 2 01.braw[MC1]Untitled CAM 1 01.brawINTRODUCING THE AUTOPOD MULTI-CAMERA EDITOR.香技工AINIAOVOCATIONALDigitwin李数科技手部姿势估计RGB2Hands动态手势识别MFNet手势识别DRX3Dpalm detection手部骨骼点检测BlazePlamPoseNet姿态识别OpenPoseTPN人体识别动作识别,TEAX3DRetainFaceMTCNN人脸检测CenterfaceLUVLi Face Alignment人脸对齐人脸技术3FabRecInsightFace人脸识别

【SD】最强控制插件ControlNet（2）姿态约束

作者：白马少年介绍：SD实践派，出品精细教程发布时间：2023-05-12 20:00原文网址：https://mp.weixin.qq.com/s/2FQdeq2Z1aMNbLQ7jbM2IA上一次，我们讲解了ControlNet里面关于线条约束类预处理器和模型的运用，今天我们来了解一下姿态约束类的模型。姿态约束类：它可以通过生成的骨架来规定绘图中人物的动作和表情。openpose：可以直接解析出人物的动作骨架。之前给大家演示过了一个模仿库里打球的女孩绘图，就是使用的ControlNet的openpose预处理器。而最新的ControlNet1.1版本，除了身体姿态以外还增加了更详细的脸部和手部的预处理器。当然，这些所有的预处理器对应的模型都是openpose。openpose_face：解析姿态和脸部使用的AbyssOrangeMix2模型做演示，风格不一样，但是还原了人物的表情和动作。openpose_faceonly：仅解析脸部测试了一下，这个面部识别只对真人和2.5D的形象可以识别，卡通二次元角色不起作用。openpose_hand：解析姿态和手部有了手部的骨架控制，可以一定程度上解决AI一直以来不会画手的问题，但是当手部骨架与身体骨架重合的时候，还是会产生一些问题，要通过多刷图来筛选。openpose_full：解析姿态、手部及脸部

Others are asking
控制模特的姿势
以下是关于控制模特姿势的方法： 在使用相关 AI 工具时，如 Stable Diffusion 等，有以下几种控制模特姿势的方式： 1. 使用蒙版和提示词：输入相关提示词，如“蓝色毛衣”，处理蒙版区域内容为“填充”，调整尺寸与图像一致，重绘幅度为 1。但可能会出现衔接问题，此时可降低重绘幅度或添加 openpose 来控制人物身体，获得正确姿势。 2. 利用 ControlNet 功能： 正常填写大模型和关键词生成照片。 鼠标滑到最下面，点击“ControlNet”。 点击空白处上传指定姿势的照片，并点击“启用”。 在“预处理器”和“模型”里选择“openpose”，用于让计算机识别人物姿势。 点击“预览预处理结果”，最后点击生成照片，即可得到指定姿势的照片。 在 ControlNet 参数配置方面： tile 用于对整体画面的控制，可选择分块+固定颜色+锐化，以保证颜色统一降低后续闪烁，不需要全过程引导，仅在开始时固定画面。 lineart 用于提取人物线条，保证人物整体不跑偏，权重给到 0.6 以控制整体画面输出稳定。 openpose 用于控制人物的姿态、表情和动作，推荐使用 DWpose 处理器，其对面部和手部的识别效果较好。
2025-01-17
MJ人物姿势
以下是关于 MJ 人物姿势的相关信息： MewXAI 中的 MJ 绘画创意度和想象力极高，在摄影照片、海报、logo 设计、3D 模型、表情包制作等方面表现出色，并且通过姿态识别能够实现对人物动作的精准控制，不仅可以生成单人的姿势，还可以生成多人的姿势，实现对 AI 画图的完美控制。 Midjourney V6 更新了角色一致性命令“cref”。在 MJ 网页社区里随机选一张图片，点击箭头下方的图片 icon 按钮（图 1），在上方输入栏里选择三个按钮（图 2 红框里第一个就是角色参考，点击一下图标），加上描述词，调整设置（图 3），回车即可实现人物面部不变，场景变化（图 4）。同时，按住 Shift 键选择一个选项可将图像用于多个类别。需要注意的是，虽然 MJ V6 还处于 alpha 测试阶段，此功能及其他功能可能会突然更改，但 V6 官方 beta 版本即将推出。
2024-09-10
服装模特拍摄，不同姿势。用什么ai
以下是为您提供的一些可能适用于服装模特拍摄不同姿势的 AI 相关信息： Ready Player Me 服装设计创新：使用 Stable Diffusion 和 ControlNet 生成服装纹理，能根据文本描述自动创建样式，如“蒸汽朋克”风格，适用于 3D 模型，包含真实细节和质感，支持多种风格，快速试验设计理念，训练数据集包含约 1000 个 Ready Player Me 资产。 在 AI 原画设计中，如引导 Nijijourney 5 生成多样化二次元角色设计风格时，可以通过不同的科幻奇幻题材风格，如赛博朋克、蒸汽朋克等作为关键词生成角色设计。还可以尝试不同的服装设计品牌和风格，如山本耀司（Yamamoto Yohji）、川久保玲（Rei Kawakubo），为角色创作提供更广泛的可能性。 RADicalMotionAI 面部捕捉技术：能同时捕捉视频中的身体动作和面部表情，适用于单一视频并转化为动画数据，支持实时发送到 Blender、Unity、Unreal Engine，动画数据可导出为 FBX 格式。
2024-08-25
如何识别网页内容
识别网页内容通常可以通过以下步骤实现： 1. 内容识别：使用智能算法分析网页的 HTML 结构，确定网页的主要内容区域。 2. 文本提取：在识别出内容区域后，提取这些区域的文本内容，包括从 HTML 标签中获取可见文本，同时忽略脚本、样式和其他无需翻译的代码。 3. 预处理：对提取出的文本进行处理，清除不必要的空格、特殊字符和格式信息，进行标准化。 4. 翻译调用：将预处理后的文本拼接到 Prompt 模板中请求相关模型的 API 进行翻译。 5. 结果整合：翻译完成后，将原文和译文对照整合回网页、字幕中，常见的展示形式有原文保持不变，译文以悬浮框、下划线注释或平行文本呈现。 6. 用户界面交互：用户可通过鼠标悬停、点击等操作控制翻译的显示与否，工具会根据用户操作实时显示或隐藏译文。 另外，在获取网页内容时，初版提示词实验中对大模型对话产品的外链解析能力依赖较大，但这种方式易受平台反爬机制制裁。转换思路，通过用户浏览器以浏览器插件形式本地提取网页内容是一种稳定且经济的解决方案。开发时，可拿着初版提示词询问 AI 来确定需要插件获取哪些网页元素。例如 SeeAct 能力可以在多种不同网站上识别网页上的各种元素，执行不同任务。
2025-04-15
公共议题:AI如何助力HR业务? 研讨目标： 深入理解:深入探讨 AI在人力资源管理领域的应用、薪酬管理、员工关系、公司文化、包括人才获取与配置、学习与发展、组织与人才培、HR共享与HRIS等各模块的可应用场景 机会识别与场景落地:基于组织现状，识别出业务价值高、可落地的 A 应用场景; 研讨成果(输出物)： 请输出10个业务价值高、具备可行性的AI应用场景介绍，并说明what(场景是什么)、why(为什么值得做)、How(如何落地);
以下是为您生成的 10 个业务价值高、具备可行性的 AI 应用场景介绍： 1. 人才招聘与筛选 What：利用 AI 技术对求职者的简历进行自动筛选和分析，评估其与岗位的匹配度。 Why：节省 HR 大量的时间和精力，提高招聘效率和准确性。 How：通过自然语言处理和机器学习算法，训练模型识别关键信息和技能。 2. 员工培训与发展 What：根据员工的技能水平和职业发展目标，定制个性化的培训计划。 Why：提升员工的能力和绩效，增强员工对企业的忠诚度。 How：利用大数据分析员工的工作表现和学习需求，推荐相关课程和学习资源。 3. 薪酬福利管理 What：运用 AI 预测市场薪酬趋势，为企业制定合理的薪酬策略。 Why：保持企业薪酬的竞争力，吸引和留住优秀人才。 How：收集和分析行业薪酬数据，结合企业的财务状况和战略目标进行优化。 4. 员工绩效评估 What：借助 AI 实时监测员工的工作表现，提供客观的绩效评估。 Why：减少人为偏差，确保评估的公正性和准确性。 How：利用工作流程数据和行为分析模型进行评估。 5. 员工关系管理 What：通过 AI 分析员工的情绪和满意度，及时发现问题并解决。 Why：营造良好的工作氛围，提高员工的工作积极性和创造力。 How：使用情感分析技术处理员工的反馈和交流信息。 6. 组织架构优化 What：利用 AI 分析企业的业务流程和人员配置，提供组织架构调整建议。 Why：提高企业的运营效率和灵活性，适应市场变化。 How：基于数据分析和模拟优化算法进行评估和推荐。 7. 人力资源规划 What：根据企业的战略目标和业务发展预测人力资源需求。 Why：提前做好人才储备和招聘计划，保障企业的正常运营。 How：运用数据分析和预测模型进行规划。 8. 企业文化传播 What：使用 AI 生成个性化的企业文化宣传内容，提高传播效果。 Why：增强员工对企业文化的认同感和归属感。 How：利用自然语言生成技术和个性化推荐算法。 9. 智能客服 What：在 HR 服务中引入 AI 客服，解答员工常见问题。 Why：快速响应员工需求，提高服务质量。 How：训练智能客服模型，涵盖常见的 HR 问题和解决方案。 10. 人才库管理 What：利用 AI 对人才库进行分类和更新，提高人才库的利用效率。 Why：方便快速找到合适的人才，降低招聘成本。 How：运用数据挖掘和分类算法进行管理。
2025-04-14
公共议题:AI如何助力HR业务? 研讨目标： 深入理解:深入探讨 AI在人力资源管理领域的应用、薪酬管理、员工关系、公司文化、包括人才获取与配置、学习与发展、组织与人才培、HR共享与HRIS等各模块的可应用场景 机会识别与场景落地:基于组织现状，识别出业务价值高、可落地的 A 应用场景; 研讨成果(输出物)： 请输出3-5个业务价值高、具备可行性的AI应用场景介绍，并说明what(场景是什么)、why(为什么值得做)、How(如何落地);
以下是为您提供的 3 个业务价值高、具备可行性的 AI 应用场景介绍： 场景一：AI 在企业招聘中的应用 What：利用 AI 技术进行简历筛选、人才匹配和面试评估。 Why：能够快速处理大量简历，提高招聘效率和准确性，节省人力和时间成本，同时更精准地找到符合岗位需求的人才。 How：通过引入相关的 AI 招聘软件，与企业现有的招聘系统集成，对简历进行关键词提取和分析，利用机器学习算法进行人才匹配，并通过视频面试中的语音和表情分析辅助评估候选人。 场景二：AI 助力个性化人力资源管理 What：根据员工的个人特点和工作表现，提供个性化的培训计划、职业发展建议和绩效评估。 Why：能够充分发挥员工的潜力，提高员工满意度和忠诚度，促进企业的长期发展。 How：收集员工的工作数据、学习记录和绩效表现等信息，运用 AI 算法进行分析和预测，为员工制定专属的发展方案，并通过移动应用或内部系统向员工推送相关建议和培训课程。 场景三：AI 打造无人值守的 HR 平台 What：实现 HR 业务的自动化处理，如员工请假审批、薪酬计算和福利发放等。 Why：减少人工操作的错误和繁琐流程，提高 HR 工作的效率和准确性，使 HR 人员能够专注于更有价值的战略工作。 How：整合企业内部的各种 HR 系统和数据，利用 RPA 和 AI 技术实现流程的自动化，同时建立监控和预警机制，确保平台的稳定运行。
2025-04-14
人脸识别软件
以下是为您整合的关于人脸识别软件的相关信息： 在“【已结束】AI 创客松 参与同学自我介绍和分类”中，Dylan 擅长人脸识别算法和动作捕捉产品。 在“SmartBotX 模块化桌面机器人——说明文档”中，桌面客户端提供面部识别或跟踪功能的展示，可能用于安全监控、用户识别或交互式体验。 在“14、LayerStyle 副本”中，使用 YoloV8 模型可以检测人脸、手部 box 区域或者人物分割，支持输出所选择数量的通道。同时，Mediapipe 模型可以检测人脸五官，分割左右眉、眼睛、嘴唇和牙齿。
2025-04-12
本地人脸识别工具
以下为一些本地人脸识别工具的相关信息： PersonMaskUltra：为人物生成脸、头发、身体皮肤、衣服或配饰的遮罩。具有超高的边缘细节，模型代码来自。节点选项包括：face（脸部识别）、hair（头发识别）、body（身体皮肤识别）、clothes（衣服识别）、accessories（配饰识别）、background（背景识别）、confidence（识别阈值）、detail_range（边缘细节范围）、black_point（边缘黑色采样阈值）、white_point（边缘黑色采样阈值）、process_detail（设为 False 将跳过边缘处理以节省运行时间）。还有 V2 升级版 PersonMaskUltraV2，增加了 VITMatte 边缘处理方法，在 PersonMaskUltra 的基础上改变了 detail_method（边缘处理方法）、detail_erode（遮罩边缘向内侵蚀范围）、detail_dilate（遮罩边缘向外扩张范围）。 YoloV8Detect：使用 YoloV8 模型检测人脸、手部 box 区域，或者人物分割。支持输出所选择数量的通道。需在下载模型文件并放到 ComfyUI/models/yolo 文件夹。节点选项包括：yolo_model（yolo 模型选择）、mask_merge（选择合并的遮罩）。输出包括 mask（输出的遮罩）、yolo_plot_image（yolo 识别结果预览图）、yolo_masks（yolo 识别出来的所有遮罩）。 MediapipeFacialSegment：使用 Mediapipe 模型检测人脸五官，分割左右眉、眼睛、嘴唇和牙齿。节点选项包括：left_eye（左眼识别开关）、left_eyebrow（左眉识别开关）、right_eye（右眼识别开关）、right_eyebrow（右眉识别开关）、lips（嘴唇识别开关）、tooth（牙齿识别开关）。 此外，关于 AI 换脸，有开源免费的解决方案 facefusion： 本机解决方案：需要 python 环境及安装多个依赖软件，对编程知识有一定要求，且运行推理计算速度依赖 GPU，本地计算机若无 GPU 或 GPU 显存较小，执行速度缓慢，不推荐本地化安装。 云服务解决方案：可利用云厂商如阿里云的 PAI 和 AutoDL 已提供的大模型运行环境和计算能力，需产生一定费用。以 AutoDL 为例，注册后在算力市场中选择可接受价格的算力服务器，建议选取 GPU 配置更高的算力设备。通过在算法社区查找 facefusion 镜像，选择合适的镜像启动 GPU 服务器。
2025-04-12
人脸识别
以下是关于人脸识别的相关信息： SmartBotX 模块化桌面机器人的桌面客户端提供面部识别或跟踪功能的展示，可能用于安全监控、用户识别或交互式体验。 设计：AIGC 世代的设计新范式 ver 东华.pdf 中提到了人脸识别相关技术，如 MTCNN、Centerface、LUVLi Face Alignment 等人脸检测和人脸对齐技术，以及 InsightFace 等人脸识别技术。 LayerStyle 副本中的 PersonMaskUltra 节点具有脸部、头发、身体皮肤、衣服、配饰和背景等的识别功能，还包括识别阈值、边缘细节范围、黑色和白色采样阈值等节点选项。PersonMaskUltraV2 是其升级版，增加了 VITMatte 边缘处理方法，并对边缘处理做了相关改变。
2025-04-12