Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

会议语音识别并转为总结，思维导图。有什么开源项目模型支持？

Answer

以下是一些支持会议语音识别并转为总结、思维导图的开源项目：

  1. 熊猫大侠：
    • 基于 COW 框架的 ChatBot 实现。
    • 支持多端部署，可接入个人微信、微信公众号、企业微信应用。
    • 具备基础对话功能，支持私聊及群聊的消息智能回复，多轮会话上下文记忆，支持 GPT-3、GPT-3.5、GPT-4、文心一言模型。
    • 支持语音识别，可识别语音消息，通过文字或语音回复，支持 azure、baidu、google、openai 等多种语音模型。
    • 支持图片生成和图生图，可选择 Dell-E、stable diffusion、replicate、Midjourney 模型。
    • 拥有丰富插件，支持个性化插件扩展，已实现多角色切换、文字冒险、敏感词过滤、聊天记录总结等插件。
    • Tool 工具能与操作系统和互联网交互，支持最新信息搜索、数学计算、天气和资讯查询、网页总结，基于chatgpt-tool-hub实现。
    • 可通过上传知识库文件自定义专属机器人，作为数字分身、领域知识库、智能客服使用，基于 LinkAI 实现。
    • 项目地址(Github)：https://github.com/zhayujie/chatgpt-on-wechat
    • 项目地址(Gitee)：https://gitee.com/zhayujie/chatgpt-on-wechat
  2. 阿里云百炼大模型平台：
    • 具备对话分析能力，可根据对话内容生成标题和质检项等，结果以 JSON 结构呈现。
    • 支持 API 调用，为实现企业级应用融合，可接入 API 将应用包装到工作流程链路中，满足企业数据安全隔离等需求。
    • 支持图像生成，可通过 Flux 模型等生成图像，设置参数如正向提示词、负面提示词等。
    • 支持文本生成，能生成小红书风格文案、朋友圈文案等各种营销文案，还能结合多模态模型创作歌曲。
    • 拥有语音模型，包括语音合成和识别，可选择多种角色和自定义内容，对通用文字识别准确，对专有名词可微调识别。
    • 支持视频处理，如影视传媒理解，能提取视频信息、分析爆点、生成字幕和思维导图等。
    • 支持工作流串联，实时语音识别后可生成会议纪要，实现企业级应用中的工作流串联。
    • 支持智能体应用的搭建与发布，工作流应用由多个节点组成，包括大模型节点、知识库节点、API 节点等，可实现意图分类和商品导购，还能进行文本转换兜底。
    • 智能体应用创建有多种应用模板，可添加知识库，如客服话术知识库，能通过提示词和知识库数据进行智能客服问答。
    • 支持多模态交互，包括语音交互和视频交互，语音交互可配置是否智能打断，视频交互需使用 VO 模型。
    • 发布渠道有官方应用、钉钉机器人、微信公众号等，还有低代码开发平台，可快速创建 Web 应用。
Content generated by AI large model, please carefully verify (powered by aily)

References

熊猫大侠：基于COW框架的ChatBot实现步骤

最新版本支持的功能如下：多端部署：可接入个人微信、微信公众号、企业微信应用基础对话：私聊及群聊的消息智能回复，支持多轮会话上下文记忆，支持GPT-3,GPT-3.5,GPT-4,文心一言模型语音识别：可识别语音消息，通过文字或语音回复，支持azure,baidu,google,openai等多种语音模型图片生成：支持图片生成和图生图（如照片修复），可选择Dell-E,stable diffusion,replicate,Midjourney模型丰富插件：支持个性化插件扩展，已实现多角色切换、文字冒险、敏感词过滤、聊天记录总结等插件Tool工具：与操作系统和互联网交互，支持最新信息搜索、数学计算、天气和资讯查询、网页总结，基于[chatgpt-tool-hub](https://github.com/goldfishh/chatgpt-tool-hub)实现知识库：通过上传知识库文件自定义专属机器人，可作为数字分身、领域知识库、智能客服使用，基于LinkAI实现项目地址(Github)：[https://github.com/zhayujie/chatgpt-on-wechat](https://github.com/zhayujie/chatgpt-on-wechat)项目地址(Gitee)：[https://gitee.com/zhayujie/chatgpt-on-wechat](https://gitee.com/zhayujie/chatgpt-on-wechat)

熊猫大侠：基于COW框架的ChatBot实现步骤

最新版本支持的功能如下：多端部署：可接入个人微信、微信公众号、企业微信应用基础对话：私聊及群聊的消息智能回复，支持多轮会话上下文记忆，支持GPT-3,GPT-3.5,GPT-4,文心一言模型语音识别：可识别语音消息，通过文字或语音回复，支持azure,baidu,google,openai等多种语音模型图片生成：支持图片生成和图生图（如照片修复），可选择Dell-E,stable diffusion,replicate,Midjourney模型丰富插件：支持个性化插件扩展，已实现多角色切换、文字冒险、敏感词过滤、聊天记录总结等插件Tool工具：与操作系统和互联网交互，支持最新信息搜索、数学计算、天气和资讯查询、网页总结，基于[chatgpt-tool-hub](https://github.com/goldfishh/chatgpt-tool-hub)实现知识库：通过上传知识库文件自定义专属机器人，可作为数字分身、领域知识库、智能客服使用，基于LinkAI实现项目地址(Github)：[https://github.com/zhayujie/chatgpt-on-wechat](https://github.com/zhayujie/chatgpt-on-wechat)项目地址(Gitee)：[https://gitee.com/zhayujie/chatgpt-on-wechat](https://gitee.com/zhayujie/chatgpt-on-wechat)

入门篇：应用广场超多案例解析 2025年1月7日

[heading2]总结阿里云百炼大模型平台的能力与应用体验对话分析能力：创建了对话分析，可根据对话内容生成标题和质检项等，结果以JSON结构呈现。API调用：为实现企业级应用融合，可接入API将应用包装到工作流程链路中，满足企业数据安全隔离等需求。图像生成：可通过Flux模型等生成图像，设置参数如正向提示词、负面提示词等。文本生成：能生成小红书风格文案、朋友圈文案等各种营销文案，还能结合多模态模型创作歌曲。语音模型：包括语音合成和识别，可选择多种角色和自定义内容，对通用文字识别准确，对专有名词可微调识别。视频处理：如影视传媒理解，能提取视频信息、分析爆点、生成字幕和思维导图等。工作流串联：实时语音识别后可生成会议纪要，实现企业级应用中的工作流串联。智能体应用的搭建与发布工作流应用：由多个节点组成，包括大模型节点、知识库节点、API节点等，可实现意图分类和商品导购，还能进行文本转换兜底。智能体应用创建：有多种应用模板，可添加知识库，如客服话术知识库，能通过提示词和知识库数据进行智能客服问答。多模态交互：包括语音交互和视频交互，语音交互可配置是否智能打断，视频交互需使用VO模型。发布渠道：有官方应用、钉钉机器人、微信公众号等，还有低代码开发平台，可快速创建Web应用。

Others are asking
如何自动生成思维导图 有推荐的工具吗
以下是一些可以自动生成思维导图的 AI 工具： 1. GitMind：免费的跨平台思维导图软件，支持多种模式，包括通过 AI 自动生成思维导图。 2. ProcessOn：国内的思维导图与 AIGC 结合的工具，可利用 AI 生成思维导图。 3. AmyMind：轻量级在线工具，无需注册登录，支持自动生成节点。 4. Xmind Copilot：Xmind 推出的基于 GPT 的助手，可一键拓展思路并生成文章大纲。 5. TreeMind：“AI 人工智能”思维导图工具，输入需求即可由 AI 自动生成思维导图。 6. EdrawMind：提供一系列 AI 工具，包括 AI 驱动的头脑风暴功能，有助于提升生产力。 总的来说，这些工具都能借助 AI 技术自动生成思维导图，提高制作效率，为知识工作者带来便利。 此外，在使用<generateTreeMind>插件节点自动生成思维导图时，有以下配置思路： 1. 确定处理方式：一次精读任务仅需生成一张思维导图，选择“单次”处理方式。 2. 确定输入：在输入区，该插件仅需设置{{query_text}}变量，格式为 string 字符串，引用“标题、导语、大纲”节点的{{enTreeMind}}变量即可。 3. 确定输出：观察输出区的众多字段，根据字段名称、「查看示例」中的示例说明或试运行来定位所需字段。若需要图片格式的思维导图，确定 pic 为所需输出。
2025-04-03
ai思维导图提示词
以下是关于 AI 思维导图提示词的相关内容： 在文生图的提示词中，例如“”，来告诉 AI 不要的内容。 在 AI 作图的创作中，有以下要点： 1. 趣味性与美感概念：趣味性可通过反差、反逻辑、超现实方式带来视觉冲击，美感需在美术基础不出错前提下形式与内容结合。 2. 纹身图创作：强调人机交互，对输出图片根据想象进行二次和多次微调，确定情绪、风格等锚点再发散联想。 3. 魔法少女示例：以魔法少女为例，发散联想其服饰、场景、相关元素等，并可采用反逻辑反差方式。 4. 提示词编写方法：用自然语言详细描述画面内容，避免废话词，Flux 对提示词的理解和可控性强。 5. 实操演示准备：以未发布的 Lora 为例，按赛题需求先确定中式或日式怪诞风格的创作引子。 6. 人物创作过程：从汉服女孩入手，逐步联想其颜色、发型、妆容、配饰、表情、背景等元素编写提示词。 优化和润色提示词（Prompt）的方法包括： 1. 明确具体的描述：使用更具体、细节的词语和短语来描述需求，而非过于笼统的词语。 2. 添加视觉参考：在 Prompt 中插入相关图片参考，提高 AI 理解意图和细节要求的能力。 3. 注意语气和情感：用合适的形容词、语气词等调整 Prompt 的整体语气和情感色彩。 4. 优化关键词组合：尝试不同的关键词搭配和语序，找到最准确表达需求的描述方式。 5. 增加约束条件：添加限制性条件，如分辨率、比例等，避免意外输出。 6. 分步骤构建 Prompt：将复杂需求拆解为逐步的子 Prompt，引导 AI 先生成基本结构，再逐步添加细节和完善。 7. 参考优秀案例：研究流行且有效的 Prompt 范例，借鉴写作技巧和模式。 8. 反复试验、迭代优化：多次尝试不同写法，并根据输出效果反馈持续优化完善。 总之，编写高质量 Prompt 需要不断实践、总结经验，熟悉 AI 模型的能力边界，保持开放思维尝试创新描述方式。
2025-03-31
思维导图生成ai
以下是一些与思维导图相关的 AI 工具： 1. GitMind：免费的跨平台思维导图软件，可通过 AI 自动生成思维导图，支持多种模式，如提问、回答、自动生成等。 2. ProcessOn：国内的思维导图与 AIGC 结合的工具，能利用 AI 生成思维导图。 3. AmyMind：轻量级在线 AI 思维导图工具，无需注册登录，支持自动生成节点。 4. Xmind Copilot：Xmind 推出的基于 GPT 的 AI 思维导图助手，可一键拓展思路，生成文章大纲。 5. TreeMind：“AI 人工智能”思维导图工具，输入需求后由 AI 自动完成思维导图生成。 6. EdrawMind：提供一系列 AI 工具，包括 AI 驱动的头脑风暴功能，有助于提升生产力。 总的来说，这些工具都能通过 AI 技术自动生成思维导图，提高制作效率，为知识工作者带来便利。 此外，还有一些关于思维导图生成的相关信息： 在使用 flowith 时，可通过引用节点技巧让 AI 根据特定参照输出高关联度内容，还可对比不同模型输出择优深挖，在满意内容节点添加“文本编辑器显示”进行精加工。 12 月更新的生成式 AI 年终数据中，思维导图相关的如 Whimsical Al 等也有相关流量等数据统计。
2025-03-25
思维导图自动生成
以下是关于思维导图自动生成的相关内容： 使用 Coze 工作流自动生成思维导图： 在上一步生成英文阅读大纲后，使用<generateTreeMind>插件节点自动生成思维导图。 1. 确定处理方式：选择“单次”，因为一次精读任务仅需生成一张思维导图。 2. 确定输入：在输入区，该插件仅需设置{{query_text}}变量，格式为 string 字符串，引用“标题、导语、大纲”节点的{{enTreeMind}}变量即可。 3. 确定输出：观察输出区，所需的是图片格式的思维导图，确定 pic 为需要的输出字段。 与思维导图相关的 AI 工具： 1. GitMind：免费跨平台，支持多种模式，可通过 AI 自动生成思维导图。 2. ProcessOn：国内思维导图+AIGC 工具，可利用 AI 生成思维导图。 3. AmyMind：轻量级在线工具，无需注册登录，支持自动生成节点。 4. Xmind Copilot：Xmind 推出的基于 GPT 的 AI 思维导图助手，可一键拓展思路、生成文章大纲。 5. TreeMind：“AI 人工智能”思维导图工具，输入需求由 AI 自动完成思维导图生成。 6. EdrawMind：提供一系列 AI 工具，包括 AI 驱动的头脑风暴功能。 自动生成思维导图的在线工具 ChatMind： 开发者@石天放开发的 ChatMind 是利用 AI 自动生成思维导图的在线工具，只需要输入问题、文章、数据就可以，对于问题还能自己获取答案，可导出图片与 Markdown 文档两种格式。链接：https://www.chatmind.tech/
2025-03-23
关于思维导图的提示词
以下是关于思维导图提示词的相关信息： 在文生图的提示词中，例如“”，用来告诉 AI 我们不要的内容。 在星流一站式 AI 设计工具中，提示词用于描绘您想生成的画面。输入语言方面，星流通用大模型与基础模型 F.1、基础模型 XL 使用自然语言（如一个长头发的金发女孩），基础模型 1.5 使用单个词组（如女孩、金发、长头发），支持中英文输入。写好提示词要注意内容准确，包含人物主体、风格、场景特点、环境光照、画面构图、画质等，比如“一个女孩抱着小猫，背景是一面红墙，插画风格、孤独感，高质量”。还可以调整负面提示词，点击提示框下方的齿轮按钮弹出负面提示词框，负面提示词可帮助 AI 理解不想生成的内容，如不好的质量、低像素、模糊、水印。利用“加权重”功能，可在功能框增加提示词并进行加权重调节，权重数值越大越优先，也能对已有的提示词权重进行编辑。此外，还有翻译功能可一键将提示词翻译成英文，以及删除所有提示词和会员加速等辅助功能。 对于 SD 新手，有以下提示词模板的相关网站：Majinai：
2025-03-14
思维导图
以下是关于头脑风暴和思维导图的相关内容： 头脑风暴常用的 20 个 prompt： 1. Brainwriting 研究写作：“我们一起为头脑风暴，尽量写下很多点子，然后我可以在它们的基础上加入相关的想法。请用 markdown 结构你的回答。” 2. Reverse Brainstorming 反向头脑风暴：“我们为使用反向头脑风暴——故意提出糟糕的点子可以激发创意并引导我们走向新的方向。” 3. Mind Mapping 思维导图：“请为创建一个完整的思维导图，从一个中心概念开始，然后向外扩展与其相关的分支。” 4. Assumptions 假设：“列出你对的假设。然后，你如何挑战这些假设来提出创新的点子？描述你的过程。” 5. SWOT Analysis SWOT 分析：“让我们对进行 SWOT 分析，考虑内部的优势/劣势和外部的机会/威胁。然后写一个结论进行总结。” 6. SCAMPER SCAMPER 法：“使用 SCAMPER 清单对进行构思。我们如何替代、结合、适应、修改、用于其他用途、消除或逆转？详细描述你的答案。” 7. Six Thinking Hats 六顶思考帽：“使用六帽方法：红帽是乐观的，黑帽看到的是负面的等等。从不同的思维角度对进行构思。” 8. Worst Possible Idea 最坏的点子：“故意为想出很糟糕的点子，以新的方向激发创意。稍微扩展你的答案，解释为什么这些点子不好。” 9. Trigger Words 触发词：“这里有一些随机词:相关的新点子？” 10. Questioning 提问：“生成关于的问题，比如谁、什么、什么时候、在哪里、为什么、怎么样？将问题转化为点子。” 11. Rolestorming 角色扮演：“扮演。我的目标是找到新的改进方法。” 12. Scenarios 场景：“想象一个的最佳情境：一切都进行得很顺利。现在想象一个最” 关于儿童新闻百事通中思维导图的应用： 1. 应用缘由： 从新闻到旧闻，拒绝缪闻，追本溯源。 由点及面，广度与深度兼顾，培养小朋友的探究意识与能力。 凝练提升，形成强大的知识网络，助力小朋友研究性思维、统合型能力的培养。 2. 具体操作： 通过新闻涉及的主题词/关键词，或是小朋友对新闻中的感兴趣点，提取背后的知识点。 调用“generateTreeMind”插件，创建一个思维导图，清晰展示知识点的起源、发展和相互关系，凝练知识网络。 通过“快捷指令”提醒小朋友，可以使用此功能。 3. 实操展示： 初步尝试：放在聊天机器人的工作流里，能使用，但调用比较慢，且不能顾到全局。 后期调整：直接调用插件+提示词直接 cue 到，Precess on VS 树状图：前者不能直接出图，后者可以且点击后可以直达网站，进行二次修改。 实操展示包括新闻激发、提炼关键词/主题词/兴趣点，并发出指令“思维导图”。
2025-03-13
自动生成提示词的开源工具有哪些
以下是一些自动生成提示词的开源工具： 1. Freepik 推出的 Reimagine AI 工具：用户上传图片即可自动生成提示词，无需输入文字。它还能实时提供无限滚动结果展示，边操作边生成图像，通过调整提示词实时修改图片细节，并支持多种风格切换。相关链接：https://freepik.com/pikaso/reimagine 、https://x.com/imxiaohu/status/1770437135738581414?s=20 2. StreamMultiDiffusion 项目：使用区域文本提示实时生成图像，具有交互式操作体验，每个提示控制一个区域，实现精准图像生成。相关链接：https://arxiv.org/abs/2403.09055 、https://github.com/ironjr/StreamMultiDiffusion?tab=readmeovfile 、https://huggingface.co/spaces/ironjr/SemanticPalette 、https://x.com/imxiaohu/status/1770371036967850439?s=20 3. 【SD】自动写提示词脚本 One Button Prompt：可以在主菜单输入人物提示词，在“高级”中设置提示词混合，还具有一键运行放大的模块，包括完整的文生图放大和图生图放大，甚至可接入其他脚本和 controlnet。获取方式：添加公众号【白马与少年】，回复【SD】。
2025-04-12
开源flux模型如何快速使用
以下是关于开源 Flux 模型快速使用的方法： 1. 模型的下载： 如果因为环境问题，可以在网盘中下载。 siglipso400mpatch14384（视觉模型）：siglip 由 Google 开发的视觉特征提取模型，负责理解和编码图像内容。工作流程包括接收输入图像、分析图像的视觉内容并将这些视觉信息编码成一组特征向量。打开 ComfyUI\models\clip，在地址栏输入 CMD 回车，打开命令行，输入下面的命令拉取模型（也可以在网盘里下载）。 image_adapter.pt（适配器）：连接视觉模型和语言模型，优化数据转换。工作流程包括接收来自视觉模型的特征向量、转换和调整这些特征，使其适合语言模型处理。通过 https://huggingface.co/spaces/fancyfeast/joycaptionprealpha/tree/main/wpkklhc6 下载，放到 models 的 Joy_caption 文件夹里，如果该文件夹不存在，就新建一个。 MetaLlama3.18Bbnb4bit（语言模型）：大型语言模型，负责生成文本描述。工作流程包括接收经过适配器处理的特征、基于这些特征生成相应的文本描述、应用语言知识来确保描述的连贯性和准确性。打开 ComfyUI\models\LLM，地址栏输入 CMD 回车，在命令行里面输入下面命令。 2. 下载地址： ae.safetensors 和 flux1dev.safetensors 下载地址：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 准备了夸克和百度的网盘链接，方便部分同学下载： flux 相关模型（体积较大）的夸克网盘链接：https://pan.quark.cn/s/b5e01255608b 。 flux 相关模型（体积较大）的百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码：ub9h 。 如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，速度会快很多，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 。 3. 工作流下载： 最后我们再下载 dev 的工作流： 。或者下面官方原版的图片链接，图片导入 comfyUI 就是工作流：https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png 。我们打开 ComfyUI，把工作流或图片拖拽到 ComfyUI 里。
2025-04-08
开源AI Agent软件有哪些
以下是一些开源的 AI Agent 软件： 1. AutoGPT 和 BabyAGI：在去年 GPT4 刚发布时风靡全球科技圈，给出了让 LLM 自己做自动化多步骤推理的解题思路。 2. Coze：新一代的一站式 AI Bot 开发平台，适用于构建基于 AI 模型的各类问答 Bot，集成了丰富的插件工具。 3. Mircosoft 的 Copilot Studio：主要功能包括外挂数据、定义流程、调用 API 和操作，以及将 Copilot 部署到各种渠道。 4. 文心智能体：百度推出的基于文心大模型的智能体（Agent）平台，支持开发者根据自身需求打造大模型时代的产品能力。 5. MindOS 的 Agent 平台：允许用户定义 Agent 的个性、动机、知识，以及访问第三方数据和服务或执行设计良好的工作流。 6. 斑头雁：2B 基于企业知识库构建专属 AI Agent 的平台，适用于客服、营销、销售等多种场景，提供多种成熟模板，功能强大且开箱即用。 7. 钉钉 AI 超级助理：依托于钉钉强大的场景和数据优势，在处理高频工作场景如销售、客服、行程安排等方面表现出色。 此外，智谱·AI 开源的语言模型中也有与 Agent 相关的，如 AgentLM7B、AgentLM13B、AgentLM70B 等。
2025-03-29
mcp 有什么开源的方案吗
Anthropic 于 2024 年 11 月推出并开源了 MCP（模型上下文协议）。MCP 就像一个“转接头”或“通用插座”，能统一不同的外部服务，如 Google Drive、GitHub、Slack、本地文件系统等，通过标准化接口与大语言模型对接。开发者基于 MCP 规范开发一次“接口适配器”（MCP 服务器），就能让所有兼容 MCP 的模型（MCP 客户端）无缝接入，无需针对每个模型单独适配，大幅提升兼容性与开发效率。MCP 里面还包含 SSE（ServerSent Events），是一种允许服务器向浏览器推送实时更新的技术。MCP 像为 AI 模型量身定制的“USBC 接口”，可以标准化地连接 AI 系统与各类外部工具和数据源。与传统 API 相比，MCP 是单一协议，只要一次整合就能连接多个服务；具有动态发现功能，AI 模型能自动识别并使用可用的工具；支持双向通信，模型不仅能查询数据，还能主动触发操作。相关链接：
2025-03-27
帮我列举2025年3月1日以来，国内外、闭源开源模型厂商的更新记录。
以下是 2025 年 3 月 1 日以来，国内外、闭源开源模型厂商的部分更新记录： 2025 年 3 月 20 日，OpenAI 推出了一套全新的音频模型，旨在通过 API 为开发者提供更智能、更可定制的语音代理支持，包括改进的语音转文本和文本转语音功能，为语音交互应用带来显著提升。 李开复公开表示 OpenAI 面临生存危机，商业模式不可持续。他强调中国的 DeepSeek 以极低成本提供接近的性能，开源模式将主导未来 AI 发展。他认为企业级 AI 应用将成为投资重点，资源限制反而促进了创新。李开复大胆预测，中国将出现三大 AI 玩家，竞争愈发激烈。 SuperCLUE 发布《中文大模型基准测评 2025 年 3 月报告》，指出 2022 2025 年经历多阶段发展，国内外模型差距缩小。测评显示 o3mini总分领先，国产模型表现亮眼，如 DeepSeekR1 等在部分能力上与国际领先模型相当，且小参数模型潜力大。性价比上，国产模型优势明显。DeepSeek 系列模型深度分析表明，其 R1 在多方面表现出色，蒸馏模型实用性高，不同第三方平台的联网搜索和稳定性有差异。 以上信息来源包括： 《》 《》 《》
2025-03-26
现在Ai作图用什么？还是以前的Stable Diffusion吗？还是又出现了新的开源软件？
目前在 AI 作图领域，Stable Diffusion 仍然是常用的工具之一。Stable Diffusion 是 AI 绘画领域的核心模型，能够进行文生图和图生图等图像生成任务，其完全开源的特点使其能快速构建强大繁荣的上下游生态。 除了 Stable Diffusion，也出现了一些新的相关开源软件和工具，例如： ：Stability AI 开源的 AI 图像生成平台。 ：拥有超过 700 种经过测试的艺术风格，可快速搜索查找各类艺术家，并支持一键复制 Prompt。 同时，市面上主流的 AI 绘图软件还有 Midjourney，其优势是操作简单方便，创作内容丰富，但需要科学上网并且付费。如果您想尝试使用 Stable Diffusion，可以参考 B 站【秋葉 aaaki】这个 Up 主的视频了解具体的安装方法。
2025-03-24
coze 语音克隆
以下是关于语音克隆的相关信息： 有一款适合小白用户的开源数字人工具，具有以下特点和功能： 特点：一键安装包，无需配置环境，简单易用。 功能：生成数字人视频，支持语音合成和声音克隆，操作界面中英文可选。 系统兼容：支持 Windows、Linux、macOS。 模型支持：MuseTalk（文本到语音）、CosyVoice（语音克隆）。 使用步骤：下载 8G + 3G 语音模型包，启动模型即可。 GitHub 链接： 官网链接： 另外，CosyVoice 声音克隆仅需几秒音频样本，无需额外训练数据，可控制情绪情感、语速、音高。 详细内容：https://xiaohu.ai/p/10954 项目地址：https://funaudiollm.github.io 在线演示：https://modelscope.cn/studios/iic/CosyVoice300M
2025-04-12
语音克隆
GPTSoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架，具有以下特点和使用步骤： 特点： 1. 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 2. 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感，模仿出来的声音更接近原声且自然。 3. 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 4. 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 5. 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 6. 提供预训练模型：项目提供了一些已经训练好的模型，可直接下载使用。 使用步骤： 1. 前置数据获取处理： 选择音频，开启切割。 有噪音时，进行降噪处理。 降噪处理完成，开启离线 ASR。 2. GPTSowitsTTS： 训练集格式化：开启一键三连，耐心等待。 微调训练：开启 SoVITS 训练和 GPT 训练。 推理：开始推理 刷新模型 选择微调后的模型 yoyo。 3. 声音复刻：开启声音复刻之旅，可实现跨多语种语言的声音。 相关资源： GitHub：https://github.com/RVCBoss/GPTSoVITS 视频教程：https://bilibili.com/video/BV12g4y1m7Uw/ 注册 colab 并启动准备：点击进入按照步骤注册即可 https://colab.research.google.com/scrollTo=Wf5KrEb6vrkR&uniqifier=2 ，新建笔记本，运行脚本启动 GPTSo VITS，整个过程比较漫长，需要耐心等待，可以整个脚本一起运行，也可以一段一段运行；运行过程包括克隆项目代码库、进入项目目录、安装 Python 依赖包、安装系统依赖、下载 NLTK 资源、启动 Web UI，运行成功后出现 public URL。 实践样本： AIyoyo 普通话 满江红 AIyoyo 粤语版 满江红
2025-04-12
文字转语音
以下是关于文字转语音的相关内容： DubbingX2.0.3： 界面与国内版相同，使用了沉浸式翻译功能，可能看起来较乱。 第一个选项是文字转语音，与国内版相同，不做重复演示。 重点介绍第二项“创建您的语音克隆”： 上传语音（想克隆的声音原始文件）。 给声音命名，方便以后配音选择。 选择语言。 勾选相关选项，点击转变即可生成。 注意：原音频若有背景音乐，最好在剪影中去除，以使生成的音色模型效果更好、更纯净。 Hedra： 可以直接文字转语音，目前有 6 个语音。 也可以直接上传音频。
2025-04-11
语音转文字
以下是关于语音转文字的相关信息： 推荐使用 OpenAI 的 wishper 进行语音转文字，相关链接：https://huggingface.co/openai/whisperlargev2 。一分钟搞定 23 分钟的音频，相关链接：https://huggingface.co/spaces/sanchitgandhi/whisperjax 。此项目在 JAX 上运行，后端支持 TPU v48，与 A100 GPU 上的 PyTorch 相比，快 70 多倍，是目前最快的 Whisper API 。 语音转文本（Speech to text）： 介绍：语音转文本 API 提供转录和翻译两个端点，基于开源大型v2 Whisper 模型。可用于将音频转录为任何语言，将音频翻译并转录成英语。目前文件上传限制为 25MB，支持 mp3、mp4、mpeg、mpga、m4a、wav 和 webm 等输入文件类型。 快速入门： 转录：转录 API 的输入是要转录的音频文件及所需输出格式的音频文字稿，默认响应类型为包含原始文本的 JSON，可添加更多带有相关选项的form 行设置其他参数。 翻译：翻译 API 输入任何支持语言的音频文件，必要时转录成英语，目前仅支持英语翻译。 更长输入：默认 Whisper API 仅支持小于 25MB 的文件，若音频文件更长，需分成小于 25MB 的块或使用压缩后格式，可使用 PyDub 开源 Python 软件包拆分声频文件，但 OpenAI 对其可用性或安全性不作保证。 提示：可使用提示提高 Whisper API 生成的转录质量，如改善特定单词或缩略语的识别、保留分段文件的上下文、避免标点符号的省略、保留填充词汇、处理不同书写风格等。
2025-04-08
实时翻译视频语音
以下是为您整理的相关信息： 实时翻译视频语音的工具： StreamSpeech：这是一个实时语言翻译模型，能够实现流媒体语音输入的实时翻译，输出目标语音和文本，具有同步翻译、低延迟的特点，还能展示实时语音识别结果。 给视频配音效的 AI 工具： 支持 50 多种语言的配音，音质自然流畅，提供实时配音功能，适用于直播和演讲，能将语音转录为文本，方便后期字幕制作和编辑。 Vidnoz AI：支持 23 多种语言的配音，音质高保真，支持文本转语音和语音克隆功能，提供语音参数自定义和背景音乐添加工具，提供面向个人和企业的经济实惠的定价方案。 在选择视频配音工具时，请考虑支持的语言数量、语音质量、自定义选项和价格等因素。
2025-04-07
文本转语音
以下是关于文本转语音的相关信息： 在线 TTS 工具推荐： Eleven Labs：https://elevenlabs.io/ ，是一款功能强大且多功能的 AI 语音软件，能高保真地呈现人类语调和语调变化，并能根据上下文调整表达方式。 Speechify：https://speechify.com/ ，是一款人工智能驱动的文本转语音工具，可作为多种平台的应用使用，用于收听网页、文档、PDF 和有声读物。 Azure AI Speech Studio：https://speech.microsoft.com/portal ，提供了支持 100 多种语言和方言的语音转文本和文本转语音功能，还提供了自定义的语音模型。 Voicemaker：https://voicemaker.in/ ，可将文本转换为各种区域语言的语音，并允许创建自定义语音模型，易于使用，适合为视频制作画外音或帮助视障人士。 语音合成技术原理： 传统的语音合成技术一般会经过以下三个步骤： 1. 文本与韵律分析：先将文本分词，标明每个字的发音以及重音、停顿等韵律信息，然后提取文本的特征，生成特征向量。 2. 声学处理：通过声学模型将文本特征向量映射到声学特征向量。 3. 声音合成：使用声码器将声学特征向量通过反变换生成声音波形，然后一次拼接得到整个文本的合成语音。在反变换过程中，可以调整参数，从而改变合成语音的音色、语调、语速等。 OpenAI 新一代音频模型： OpenAI 于 2025 年 3 月 20 日推出了全新的音频模型，包括改进的语音转文本和文本转语音功能。 语音转文本模型在单词错误率和语言识别准确性方面相较于原有的 Whisper 模型有显著提升，能更好地捕捉语音细节，减少误识别，在多语言评估基准上表现优异。 文本转语音模型具备更高的可定制性，支持个性化语音风格，目前支持人工预设的语音样式，并通过监控确保语音与合成预设一致。 测试地址：https://www.openai.fm/ 直播回放：https://www.youtube.com/watch?v=lXb0L16ISAc 说明文档：https://openai.com/index/introducingournextgenerationaudiomodels/ 内容由 AI 大模型生成，请仔细甄别。
2025-04-01
如何识别网页内容
识别网页内容通常可以通过以下步骤实现： 1. 内容识别：使用智能算法分析网页的 HTML 结构，确定网页的主要内容区域。 2. 文本提取：在识别出内容区域后，提取这些区域的文本内容，包括从 HTML 标签中获取可见文本，同时忽略脚本、样式和其他无需翻译的代码。 3. 预处理：对提取出的文本进行处理，清除不必要的空格、特殊字符和格式信息，进行标准化。 4. 翻译调用：将预处理后的文本拼接到 Prompt 模板中请求相关模型的 API 进行翻译。 5. 结果整合：翻译完成后，将原文和译文对照整合回网页、字幕中，常见的展示形式有原文保持不变，译文以悬浮框、下划线注释或平行文本呈现。 6. 用户界面交互：用户可通过鼠标悬停、点击等操作控制翻译的显示与否，工具会根据用户操作实时显示或隐藏译文。 另外，在获取网页内容时，初版提示词实验中对大模型对话产品的外链解析能力依赖较大，但这种方式易受平台反爬机制制裁。转换思路，通过用户浏览器以浏览器插件形式本地提取网页内容是一种稳定且经济的解决方案。开发时，可拿着初版提示词询问 AI 来确定需要插件获取哪些网页元素。例如 SeeAct 能力可以在多种不同网站上识别网页上的各种元素，执行不同任务。
2025-04-15
公共议题:AI如何助力HR业务? 研讨目标： 深入理解:深入探讨 AI在人力资源管理领域的应用、薪酬管理、员工关系、公司文化、包括人才获取与配置、学习与发展、组织与人才培、HR共享与HRIS等各模块的可应用场景 机会识别与场景落地:基于组织现状，识别出业务价值高、可落地的 A 应用场景; 研讨成果(输出物)： 请输出10个业务价值高、具备可行性的AI应用场景介绍，并说明what(场景是什么)、why(为什么值得做)、How(如何落地);
以下是为您生成的 10 个业务价值高、具备可行性的 AI 应用场景介绍： 1. 人才招聘与筛选 What：利用 AI 技术对求职者的简历进行自动筛选和分析，评估其与岗位的匹配度。 Why：节省 HR 大量的时间和精力，提高招聘效率和准确性。 How：通过自然语言处理和机器学习算法，训练模型识别关键信息和技能。 2. 员工培训与发展 What：根据员工的技能水平和职业发展目标，定制个性化的培训计划。 Why：提升员工的能力和绩效，增强员工对企业的忠诚度。 How：利用大数据分析员工的工作表现和学习需求，推荐相关课程和学习资源。 3. 薪酬福利管理 What：运用 AI 预测市场薪酬趋势，为企业制定合理的薪酬策略。 Why：保持企业薪酬的竞争力，吸引和留住优秀人才。 How：收集和分析行业薪酬数据，结合企业的财务状况和战略目标进行优化。 4. 员工绩效评估 What：借助 AI 实时监测员工的工作表现，提供客观的绩效评估。 Why：减少人为偏差，确保评估的公正性和准确性。 How：利用工作流程数据和行为分析模型进行评估。 5. 员工关系管理 What：通过 AI 分析员工的情绪和满意度，及时发现问题并解决。 Why：营造良好的工作氛围，提高员工的工作积极性和创造力。 How：使用情感分析技术处理员工的反馈和交流信息。 6. 组织架构优化 What：利用 AI 分析企业的业务流程和人员配置，提供组织架构调整建议。 Why：提高企业的运营效率和灵活性，适应市场变化。 How：基于数据分析和模拟优化算法进行评估和推荐。 7. 人力资源规划 What：根据企业的战略目标和业务发展预测人力资源需求。 Why：提前做好人才储备和招聘计划，保障企业的正常运营。 How：运用数据分析和预测模型进行规划。 8. 企业文化传播 What：使用 AI 生成个性化的企业文化宣传内容，提高传播效果。 Why：增强员工对企业文化的认同感和归属感。 How：利用自然语言生成技术和个性化推荐算法。 9. 智能客服 What：在 HR 服务中引入 AI 客服，解答员工常见问题。 Why：快速响应员工需求，提高服务质量。 How：训练智能客服模型，涵盖常见的 HR 问题和解决方案。 10. 人才库管理 What：利用 AI 对人才库进行分类和更新，提高人才库的利用效率。 Why：方便快速找到合适的人才，降低招聘成本。 How：运用数据挖掘和分类算法进行管理。
2025-04-14
公共议题:AI如何助力HR业务? 研讨目标： 深入理解:深入探讨 AI在人力资源管理领域的应用、薪酬管理、员工关系、公司文化、包括人才获取与配置、学习与发展、组织与人才培、HR共享与HRIS等各模块的可应用场景 机会识别与场景落地:基于组织现状，识别出业务价值高、可落地的 A 应用场景; 研讨成果(输出物)： 请输出3-5个业务价值高、具备可行性的AI应用场景介绍，并说明what(场景是什么)、why(为什么值得做)、How(如何落地);
以下是为您提供的 3 个业务价值高、具备可行性的 AI 应用场景介绍： 场景一：AI 在企业招聘中的应用 What：利用 AI 技术进行简历筛选、人才匹配和面试评估。 Why：能够快速处理大量简历，提高招聘效率和准确性，节省人力和时间成本，同时更精准地找到符合岗位需求的人才。 How：通过引入相关的 AI 招聘软件，与企业现有的招聘系统集成，对简历进行关键词提取和分析，利用机器学习算法进行人才匹配，并通过视频面试中的语音和表情分析辅助评估候选人。 场景二：AI 助力个性化人力资源管理 What：根据员工的个人特点和工作表现，提供个性化的培训计划、职业发展建议和绩效评估。 Why：能够充分发挥员工的潜力，提高员工满意度和忠诚度，促进企业的长期发展。 How：收集员工的工作数据、学习记录和绩效表现等信息，运用 AI 算法进行分析和预测，为员工制定专属的发展方案，并通过移动应用或内部系统向员工推送相关建议和培训课程。 场景三：AI 打造无人值守的 HR 平台 What：实现 HR 业务的自动化处理，如员工请假审批、薪酬计算和福利发放等。 Why：减少人工操作的错误和繁琐流程，提高 HR 工作的效率和准确性，使 HR 人员能够专注于更有价值的战略工作。 How：整合企业内部的各种 HR 系统和数据，利用 RPA 和 AI 技术实现流程的自动化，同时建立监控和预警机制，确保平台的稳定运行。
2025-04-14
人脸识别软件
以下是为您整合的关于人脸识别软件的相关信息： 在“【已结束】AI 创客松 参与同学自我介绍和分类”中，Dylan 擅长人脸识别算法和动作捕捉产品。 在“SmartBotX 模块化桌面机器人——说明文档”中，桌面客户端提供面部识别或跟踪功能的展示，可能用于安全监控、用户识别或交互式体验。 在“14、LayerStyle 副本”中，使用 YoloV8 模型可以检测人脸、手部 box 区域或者人物分割，支持输出所选择数量的通道。同时，Mediapipe 模型可以检测人脸五官，分割左右眉、眼睛、嘴唇和牙齿。
2025-04-12
本地人脸识别工具
以下为一些本地人脸识别工具的相关信息： PersonMaskUltra：为人物生成脸、头发、身体皮肤、衣服或配饰的遮罩。具有超高的边缘细节，模型代码来自。节点选项包括：face（脸部识别）、hair（头发识别）、body（身体皮肤识别）、clothes（衣服识别）、accessories（配饰识别）、background（背景识别）、confidence（识别阈值）、detail_range（边缘细节范围）、black_point（边缘黑色采样阈值）、white_point（边缘黑色采样阈值）、process_detail（设为 False 将跳过边缘处理以节省运行时间）。还有 V2 升级版 PersonMaskUltraV2，增加了 VITMatte 边缘处理方法，在 PersonMaskUltra 的基础上改变了 detail_method（边缘处理方法）、detail_erode（遮罩边缘向内侵蚀范围）、detail_dilate（遮罩边缘向外扩张范围）。 YoloV8Detect：使用 YoloV8 模型检测人脸、手部 box 区域，或者人物分割。支持输出所选择数量的通道。需在下载模型文件并放到 ComfyUI/models/yolo 文件夹。节点选项包括：yolo_model（yolo 模型选择）、mask_merge（选择合并的遮罩）。输出包括 mask（输出的遮罩）、yolo_plot_image（yolo 识别结果预览图）、yolo_masks（yolo 识别出来的所有遮罩）。 MediapipeFacialSegment：使用 Mediapipe 模型检测人脸五官，分割左右眉、眼睛、嘴唇和牙齿。节点选项包括：left_eye（左眼识别开关）、left_eyebrow（左眉识别开关）、right_eye（右眼识别开关）、right_eyebrow（右眉识别开关）、lips（嘴唇识别开关）、tooth（牙齿识别开关）。 此外，关于 AI 换脸，有开源免费的解决方案 facefusion： 本机解决方案：需要 python 环境及安装多个依赖软件，对编程知识有一定要求，且运行推理计算速度依赖 GPU，本地计算机若无 GPU 或 GPU 显存较小，执行速度缓慢，不推荐本地化安装。 云服务解决方案：可利用云厂商如阿里云的 PAI 和 AutoDL 已提供的大模型运行环境和计算能力，需产生一定费用。以 AutoDL 为例，注册后在算力市场中选择可接受价格的算力服务器，建议选取 GPU 配置更高的算力设备。通过在算法社区查找 facefusion 镜像，选择合适的镜像启动 GPU 服务器。
2025-04-12
人脸识别
以下是关于人脸识别的相关信息： SmartBotX 模块化桌面机器人的桌面客户端提供面部识别或跟踪功能的展示，可能用于安全监控、用户识别或交互式体验。 设计：AIGC 世代的设计新范式 ver 东华.pdf 中提到了人脸识别相关技术，如 MTCNN、Centerface、LUVLi Face Alignment 等人脸检测和人脸对齐技术，以及 InsightFace 等人脸识别技术。 LayerStyle 副本中的 PersonMaskUltra 节点具有脸部、头发、身体皮肤、衣服、配饰和背景等的识别功能，还包括识别阈值、边缘细节范围、黑色和白色采样阈值等节点选项。PersonMaskUltraV2 是其升级版，增加了 VITMatte 边缘处理方法，并对边缘处理做了相关改变。
2025-04-12