Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

ai大模型和工具组合使用技巧

Answer

以下是关于 AI 大模型和工具组合使用的技巧:

  1. 在 Obsidian 中的使用:
    • 简单方法:通过命令面板打开创建的页面(默认快捷键 Ctrl+P),在弹出的搜索框中输入插件名称(如 custom frames),选择 OpenKimi 并打开设置好的窗口。
    • 进阶配置:包括笔记仓库嵌入大模型(Copilot)、笔记内容作为 RAG 嵌入大模型(Smart Conections)、笔记内使用大模型编写内容(Tars/Text Generator)。
  2. 利用大模型与工具的典型例子:如使用 Kimi Chat 查询问题时,它会在互联网上检索相关内容并总结分析给出结论,同时还有很多不同领域类型的工具为大模型在获取、处理、呈现信息上做补充。
  3. Agentic Workflow 方面:
    • Agent 通过自行规划任务执行的工作流路径,面向简单或线性流程的运行。
    • 多 Agent 协作:吴恩达通过开源项目 ChatDev 举例,让大语言模型扮演不同角色相互协作开发应用或复杂程序。
    • AI Agent 基本框架:OpenAI 的研究主管 Lilian Weng 提出“Agent=LLM+规划+记忆+工具使用”的基础架构,其中大模型 LLM 扮演“大脑”,规划包括子目标分解、反思与改进。
  4. 从提示词优化到底层能力提升:
    • 任务拆解:将复杂任务的提示词拆解成若干步骤的智能体,每个智能体负责特定子任务。
    • 工作流构建:组合多个提示词或 AI 工具搭建高频重复工作的工作流。
    • 创作场景的灵活应用:在创作过程中使用简单提示词和连续追问调整大模型回答。
    • 深度思考辅助:将大模型用于辅助深度思考,从居高临下的指挥变为伙伴式的协作和相互学习,关注利用大模型训练和增强认知能力。
Content generated by AI large model, please carefully verify (powered by aily)

References

小七姐:AI+知识管理体系 —— Obsidian入门及 AI 插件配置

1.用命令面板打开刚才创建的页面,默认快捷键Ctrl+P 1️⃣2.在弹出的搜索框中输入插件名称:custom frames 2️⃣3.在下拉选项中选择OpenKimi 3️⃣4.打开刚才设置好的Kimi窗口[heading4]开始使用[content]以上是最简单的在obsidian中通过内置网页嵌入AI类型工具的方法。接下来为大家介绍在Obsidian中使用AI工具的进阶配置方法。Obsidian与AI组合使用的几种思路:1.内嵌网页+AI(Custom frame)2.笔记仓库嵌入大模型(Copilot)3.笔记内容作为RAG嵌入大模型(Smart Conections)4.笔记内使用大模型编写内容(Tars/Text Generator)其中,“内嵌网页+AI(Custom frame)”已经在上一篇教程为大家分享过了,本篇讲一下2-4三类工具的配置方法:

Inhai: Agentic Workflow:AI 重塑了我的工作流

如果大家使用Kimi Chat来查询某个问题,你会发现它会在互联网上检索相关内容,并基于检索结果进行总结分析,最后给出结论。这其实是大模型利用「网页搜索」工具的一个典型例子,同时你也会看到PPT中介绍了非常多的不同领域类型的工具,它其实是为大模型在获取、处理、呈现信息上做额外的补充。PlanningAgent通过自行规划任务执行的工作流路径,面向于简单的或者一些线性流程的运行。比如下图中:Agent会先识别男孩的姿势,并可能找到一个姿势提取模型来识别姿势,在接下来要找到一个姿势图像模型来合成一个新的女孩图像,然后再使用图像理解文本的模型,并在最后使用语音合成输出,完成这个流程任务。Multiagent Collaboration吴恩达通过开源项目ChatDev进行举例,你可以让一个大语言模型扮演不同的角色,比如让一个Agent扮演公司CEO、产品经理、设计师、代码工程师或测试人员,这些Agent会相互协作,根据需求共同开发一个应用或者复杂程序。AI Agent基本框架OpenAI的研究主管Lilian Weng曾经写过一篇博客叫做《LLM Powered Autonomous Agents》,其中就很好的介绍了Agent的设计框架,她提出了“Agent=LLM+规划+记忆+工具使用”的基础架构,其中大模型LLM扮演了Agent的“大脑”。Planning(规划)主要包括子目标分解、反思与改进。将大型任务分解为较小可管理的子目标处理复杂的任务。而反思和改进指可以对过去的行动进行自我批评和自我反思,从错误中学习并改进未来的步骤,从而提高最终结果的质量。Memory(记忆)

小七姐:Prompt is not enough

掌握了上述技巧后,我开始思考:“还有没有把大模型用得更"灵性"的提升空间?”我尝试做了以下几点:1.任务拆解:尝试将复杂任务的提示词拆解成若干步骤的智能体,每个智能体负责特定的子任务:1.工作流构建:通过组合多个提示词或AI工具,可以搭建出高频重复工作的工作流,以处理更加简单但经常需要完成的任务:1.创作场景的灵活应用:在创作过程(写作、深度思考问题)场景中,使用简单提示词和连续追问的方式来调整大模型的回答,使输出更符合我们的需求:1.深度思考辅助:最重要的是,我们开始将大模型用于辅助"深度思考",而不仅仅是"按我们的意思输出"。"按我们的意思输出"意味着你让大模型生成的内容的上限就是你认知的上限。而辅助"深度思考",是使用大模型来提高自身的上限。这也从一个侧面反应了我们对大模型的姿态:我们渐渐从居高临下的指挥,变为伙伴式的协作和相互学习。[heading2](三)迈向深度思考[content]什么是"深度思考",我们又该如何用大模型来辅助这个过程?我对大模型使用方法的研究进入了一个新的阶段:关注如何利用大模型来训练和增强我们的认知能力,而不仅仅是优化输出。

Others are asking
什么AI工具可以实现提取多个指定网页的更新内容
以下 AI 工具可以实现提取多个指定网页的更新内容: 1. Coze:支持自动采集和手动采集两种方式。自动采集包括从单个页面或批量从指定网站中导入内容,可选择是否自动更新指定页面的内容及更新频率。批量添加网页内容时,输入要批量添加的网页内容的根地址或 sitemap 地址然后单击导入。手动采集需要先安装浏览器扩展程序,标注要采集的内容,内容上传成功率高。 2. AI Share Card:能够一键解析各类网页内容,生成推荐文案,把分享链接转换为精美的二维码分享卡。通过用户浏览器,以浏览器插件形式本地提取网页内容。
2025-05-01
AI文生视频
以下是关于文字生成视频(文生视频)的相关信息: 一些提供文生视频功能的产品: Pika:擅长动画制作,支持视频编辑。 SVD:Stable Diffusion 的插件,可在图片基础上生成视频。 Runway:老牌工具,提供实时涂抹修改视频功能,但收费。 Kaiber:视频转视频 AI,能将原视频转换成各种风格。 Sora:由 OpenAI 开发,可生成长达 1 分钟以上的视频。 更多相关网站可查看:https://www.waytoagi.com/category/38 。 制作 5 秒单镜头文生视频的实操步骤(以梦 AI 为例): 进入平台:打开梦 AI 网站并登录,新用户有积分可免费体验。 输入提示词:涵盖景别、主体、环境、光线、动作、运镜等描述。 选择参数并点击生成:确认提示词无误后,选择模型、画面比例,点击「生成」按钮。 预览与下载:生成完毕后预览视频,满意则下载保存,不理想可调整提示词再试。 视频模型 Sora:OpenAI 发布的首款文生视频模型,能根据文字指令创造逼真且充满想象力的场景,可生成长达 1 分钟的一镜到底超长视频,视频中的人物和镜头具有惊人的一致性和稳定性。
2025-04-20
Ai在设备风控场景的落地
AI 在设备风控场景的落地可以从以下几个方面考虑: 法律法规方面:《促进创新的人工智能监管方法》指出,AI 的发展带来了一系列新的安全风险,如对个人、组织和关键基础设施的风险。在设备风控中,需要关注法律框架是否能充分应对 AI 带来的风险,如数据隐私、公平性等问题。 趋势研究方面:在制造业中,AI Agent 可用于生产决策、设备维护、供应链协调等。例如,在工业设备监控与预防性维护中,Agent 能通过监测传感器数据识别异常模式,提前通知检修,减少停机损失和维修成本。在生产计划、供应链管理、质量控制、协作机器人、仓储物流、产品设计、建筑工程和能源管理等方面,AI Agent 也能发挥重要作用,实现生产的无人化、决策的数据化和响应的实时化。
2025-04-20
ai视频
以下是 4 月 11 日、4 月 9 日和 4 月 14 日的 AI 视频相关资讯汇总: 4 月 11 日: Pika 上线 Pika Twists 能力,可控制修改原视频中的任何角色或物体。 Higgsfield Mix 在图生视频中,结合多种镜头运动预设与视觉特效生成视频。 FantasyTalking 是阿里技术,可制作角色口型同步视频并具有逼真的面部和全身动作。 LAM 开源技术,实现从单张图片快速生成超逼真的 3D 头像,在任何设备上快速渲染实现实时互动聊天。 Krea 演示新工具 Krea Stage,通过图片生成可自由拼装 3D 场景,再实现风格化渲染。 Veo 2 现已通过 Gemini API 向开发者开放。 Freepik 发布视频编辑器。 Pusa 视频生成模型,无缝支持各种视频生成任务(文本/图像/视频到视频)。 4 月 9 日: ACTalker 是多模态驱动的人物说话视频生成。 Viggle 升级 Mic 2.0 能力。 TestTime Training在英伟达协助研究下,可生成完整的 1 分钟视频。 4 月 14 日: 字节发布一款经济高效的视频生成基础模型 Seaweed7B。 可灵的 AI 视频模型可灵 2.0 大师版及 AI 绘图模型可图 2.0 即将上线。
2025-04-20
ai视频教学
以下是为您提供的 AI 视频教学相关内容: 1. 第一节回放 AI 编程从入门到精通: 课程安排:19、20、22 和 28 号四天进行 AI 编程教学,周五晚上穿插 AI 视频教学。 视频预告:周五晚上邀请小龙问露露拆解爆火的 AI 视频制作,视频在视频号上有大量转发和播放。 编程工具 tree:整合多种模型,可免费无限量试用,下载需科学上网,Mac 可拖到文件夹安装,推荐注册 GitHub 账号用于代码存储和发布,主界面分为工具区、AI 干活区、右侧功能区等。 网络不稳定处理:网络不稳定时尝试更换节点。 项目克隆与文件夹:每个项目通过在本地新建文件夹来区分,项目运行一轮一轮进行,可新建会话,终端可重开。 GitHub 仓库创建:仓库相当于本地项目,可新建,新建后有地址,可通过多种方式上传。 Python 环境安装:为方便安装提供了安装包,安装时要选特定选项,安装后通过命令确认。 代码生成与修改:在 tree 中输入需求生成代码,可对生成的代码提出修改要求,如添加滑动条、雪花形状、颜色等,修改后审查并接受。 2. AI 视频提示词库: 神秘风 Arcane:Prompt:a robot is walking through a destroyed city,,League of Legends style,game modelling 乐高 Lego:Prompt:a robot is walking through a destroyed city,,lego movie style,bright colours,block building style 模糊背景 Blur Background:Prompt:a robot is walking through a destroyed city,,emphasis on foreground elements,sharp focus,soft background 宫崎骏 Ghibli:Prompt:a robot is walking through a destroyed city,,Spirited Away,Howl's Moving Castle,dreamy colour palette 蒸汽朋克 Steampunk:Prompt:a robot is walking through a destroyed city,,fantasy,gear decoration,brass metal robotics,3d game 印象派 Impressionism:Prompt:a robot is walking through a destroyed city,,big movements
2025-04-20
ai写程序
以下是关于使用 AI 写程序的相关内容: 1. 对于技术纯小白: 从最基础的小任务开始,让 AI 按照最佳实践写一个 say hello 的示例程序,并解释每个文件的作用及程序运行的逻辑,以学会必备的调试技能。 若学习写 chrome 插件,可让 AI 按照最佳实践生成简单的示范项目,包含全面的典型文件和功能,并讲解每个文件的作用和程序运行的逻辑。若使用 o1mini,可在提示词最后添加生成创建脚本的要求,并请教如何运行脚本(Windows 机器则是 create.cmd)。 2. 明确项目需求: 通过与 AI 的对话逐步明确项目需求。 让 AI 帮助梳理出产品需求文档,在后续开发时每次新起聊天将文档发给 AI 并告知在做的功能点。 3. 在独立游戏开发中的经验: 单独让 AI 写小功能没问题,但对于复杂的程序框架,可把不方便配表而又需要撰写的简单、模板化、多调用 API 且牵涉小部分特殊逻辑的代码交给 AI。 以 Buff 系统为例,可让 AI 仿照代码写一些 Buff。但目前 Cursor 生成复杂代码需要复杂的前期调教,ChatGPT 相对更方便。 教 AI 时要像哄小孩,及时肯定正确的,指出错误时要克制,不断完善其经验。 4. 相关资源和平台: AI 写小游戏平台:https://poe.com/ 图片网站:https://imgur.com/ 改 bug 的网站:https://v0.dev/chat 国内小游戏发布平台:https://open.4399.cn/console/ 需要注意的是,使用 AI 写程序时,对于技术小白来说,入门容易但深入较难,若没有技术背景可能提不出问题,从而影响 AI 发挥作用。
2025-04-19
deepseek的使用技巧
以下是关于 DeepSeek 的使用技巧: 1. 了解其特点与优势: 推理型大模型:核心是推理型,无需用户提供详细步骤指令,通过理解真实需求和场景提供答案。 更懂人话:能理解用户用“人话”表达的需求,无需特定提示词模板。 深度思考:回答问题时能深度思考,非简单罗列信息。 文风转换器:可模仿不同作家文风写作,适用于多种文体和场景。 2. 更多提示词技巧请查看 3. 在 AI 切磋大会第十期 2 月 23 日 deepseek 专场中,分享了以下使用方法技巧: 分享使用 DeepSeek 在工作生活上的案例。 分享 DeepSeek 输出“超预期结果”的惊艳场景。 分享别人使用的案例。 方法论碰撞,如使用 DeepSeek 的技巧、与其他工具的协同方案、模型微调/部署的技巧方法、获取流量/客户等。 在 Workshop 自由探讨环节,参与者可自由组队,确定围绕 DeepSeek 应用的项目方向,进行头脑风暴和制定落地方案,并提交项目初稿。推荐使用 DeepSeek + 飞书多维表格、DeepSeek + 扣子等工具。若讨论无方向,可设定标准问题引导;分组混乱,可预设热门主题让参与者自行加入。
2025-04-12
deepseek的使用技巧
以下是关于 DeepSeek 的使用技巧: 1. 了解其特点与优势: 核心是推理型大模型,无需用户提供详细步骤指令,能通过理解真实需求和场景提供答案。 能够理解用户用“人话”表达的需求,无需特定提示词模板。 在回答问题时能深度思考,而非简单罗列信息。 可以模仿不同作家的文风进行写作,适用于多种文体和场景。 2. 更多提示词技巧请查看 3. 活动中的使用方法技巧: 分享使用 DeepSeek 在工作生活上的案例。 分享 DeepSeek 输出“超预期结果”的惊艳场景。 分享 DeepSeek 与其他工具的协同方案。 分享模型微调/部署的技巧方法。 分享用 DeepSeek 获取流量/客户等。 4. 具体使用步骤: 搜索 www.deepseek.com,点击“开始对话”。 将装有提示词的代码发给 DeepSeek。 认真阅读开场白之后,正式开始对话。 5. 设计思路: 将 Agent 封装成 Prompt,将 Prompt 储存在文件,保证最低成本的人人可用,减轻调试负担。 通过提示词文件,让 DeepSeek 实现同时使用联网功能和深度思考功能。 在模型默认能力基础上优化输出质量,减轻 AI 味,增加可读性。 设计阈值系统,后续可能根据反馈修改。 用 XML 进行更为规范的设定。
2025-03-26
deepseek的使用技巧
以下是关于 DeepSeek 的使用技巧: 1. 了解其特点与优势: 推理型大模型:核心是推理型大模型,通过理解用户真实需求和场景提供答案,无需详细步骤指令。 更懂人话:能理解用户用“人话”表达的需求,无需特定提示词模板。 深度思考:回答问题时能深度思考,非简单罗列信息。 文风转换器:可模仿不同作家文风写作,适用于多种文体和场景。 2. 更多提示词技巧可查看。 3. 使用方法: 搜索 www.deepseek.com,点击“开始对话”。 将装有提示词的代码发给 Deepseek。 认真阅读开场白之后,正式开始对话。 4. 设计思路: 将 Agent 封装成 Prompt,将 Prompt 储存在文件,保证最低成本的人人可用,减轻调试负担。 通过提示词文件,让 DeepSeek 实现同时使用联网功能和深度思考功能。 在模型默认能力基础上优化输出质量,减轻 AI 味,增加可读性。 设计阈值系统,后续可能根据反馈修改。 用 XML 进行更为规范的设定。 5. 在 AI 切磋大会中,分享了使用 DeepSeek 的技巧,包括方法论碰撞,如使用 DeepSeek 的技巧、与其他工具的协同方案、模型微调/部署的技巧方法、获取流量/客户等,还包括应急预案。同时,活动中还涉及分城市各自案例分享、Workshop 自由探讨等环节。
2025-03-26
介绍一下秘塔AI的基本情况和使用技巧
秘塔 AI 是一款优秀的工具,具有以下基本情况和使用技巧: 基本情况: 整体流程较长且完整,首先需要构建专题,并上传文档或者复制网页链接。 搜索完成后的操作类型丰富,例如可以继续追问、导出文档、收藏、保存到秘塔写作猫并编辑、生成在线演示文稿、下载脑图图片等,还能查看与原文的对应关系并进一步搜索。 RAG 和搜索能力出色,是国产之光。 使用技巧: 构建专题时,认真准备上传的文档或网页链接。 搜索时,在搜索框左下角选中专题以定制数据源。 充分利用丰富的搜索完成后的操作,满足不同需求,如追问、编辑、分享等。 您可以通过以下链接访问秘塔 AI 搜索:https://metaso.cn
2025-03-26
DeepSeek使用技巧
以下是关于 DeepSeek 的使用技巧: 1. 了解其特点与优势: 推理型大模型:通过理解用户真实需求和场景提供答案,无需详细步骤指令。 更懂人话:能理解用户自然表达的需求,无需特定提示词模板。 深度思考:回答问题时能深度思考,非简单罗列信息。 文风转换器:可模仿不同作家文风写作,适用于多种文体和场景。 2. 具体使用步骤: 搜索 www.deepseek.com,点击“开始对话”。 将装有提示词的代码发给 DeepSeek。 认真阅读开场白后正式开始对话。 3. 更多提示词技巧请查看 。 4. 在“AI 切磋大会第十期2 月 23 日 deepseek 专场”中,分享了使用 DeepSeek 的方法技巧,包括: 运用在工作生活上的案例。 输出“超预期结果”的惊艳场景。 与其他工具的协同方案。 模型微调/部署的技巧方法。 用 DeepSeek 获取流量/客户等。
2025-03-23
背景:我是一名高中生,想学习AI知识,逐步从入门到精通 目标:希望在<3个月>内具备一定能力。 请结合我的背景和优势,为我设计一份学习路线: - 列出每阶段(例如每一个礼拜)的学习重点(比如编程基础、数学)。 - 为每个阶段推荐<具体资源>(书籍、在线课程、练习项目等)。 - 提供一些学习技巧或注意事项。
以下是为您设计的一份在 3 个月内从入门到具备一定能力的 AI 学习路线: 第一个月: 学习重点:了解 AI 基本概念,包括术语、主要分支及它们之间的联系;掌握编程基础,如 Python 语言。 推荐资源: 书籍:《人工智能:一种现代方法》 在线课程:Coursera 上的“人工智能入门”课程 练习项目:使用 Python 实现简单的数据分析和可视化 学习技巧和注意事项:多做笔记,理解概念,注重实践。 第二个月: 学习重点:深入学习数学基础,包括统计学、线性代数和概率论;了解算法和模型中的监督学习和无监督学习。 推荐资源: 书籍:《概率论与数理统计》《线性代数及其应用》 在线课程:edX 上的“机器学习基础”课程 练习项目:使用监督学习算法进行数据分类预测 学习技巧和注意事项:通过实际案例加深对数学知识的理解,多做练习题。 第三个月: 学习重点:掌握神经网络基础,包括网络结构和激活函数;学习模型的评估和调优。 推荐资源: 书籍:《深度学习》 在线课程:Udacity 上的“深度学习入门”课程 练习项目:构建并优化一个简单的神经网络模型 学习技巧和注意事项:积极参与在线讨论,及时解决学习中的问题。 在整个学习过程中,您还可以: 体验 AI 产品,如 ChatGPT、文心一言等,了解其工作原理和交互方式。 掌握提示词的技巧,提高与 AI 的交互效果。 参与相关的社区和论坛,分享学习经验和成果。
2025-03-21
大模型的系统提示词
大模型的系统提示词主要包括以下方面: 1. 在“五津:一键生成‘摸鱼打工猫’视频”中,针对用户选择的主题和回答,总结用户的创作意图,如“打工猫摸鱼的 2 小时,在巴厘岛能看一场日落”,并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词,以数组形式输出到“tishici”,将用户意图输出到“biaoti”。 2. 在“云中江树:智能对决:提示词攻防中的 AI 安全博弈”中,系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意;模型侧对于有能力的厂商应增强安全性并平衡性能,开发者则要在开发中带着安全意识优化系统提示词,加入安全引导和禁止内容等;输出侧可使用传统防御和内容过滤手段,并针对大模型特点进行私有数据泄露等检查。此外,还提到间接注入和提示词泄露的情况,间接注入常发生在应用获取依赖外部数据资源时,攻击者通过隐藏恶意指令完成攻击;提示词泄露指试图操纵模型输出获取部分或全部系统提示词,大模型输出内容可分为系统提示词、用户提示和助手提示词三段,通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash,这3个视觉理解大模型哪个最厉害?
以下是对通义千问 Qwen2.5VL 模型的介绍: 版本:有 3B、7B 和 72B 三个尺寸版本。 主要优势: 视觉理解能力:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。 视频理解能力:支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。 万物识别:擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位:采用矩形框和点的多样化方式对通用物体定位,支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解:提升 OCR 识别能力,增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析:设计了更全面的文档解析格式,称为 QwenVL HTML 格式,能够精准还原文档中的版面布局。 增强的视频理解:引入动态帧率(FPS)训练和绝对时间编码技术,支持小时级别的超长视频理解,具备秒级的事件定位能力。 开源平台: Huggingface:https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope:https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat:https://chat.qwenlm.ai 然而,对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型,目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容,因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看,其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有: 1. 昆仑万维的 SkyReelsV1:它不仅支持文生视频、图生视频,还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。擅长万物识别,能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个: 1. 昆仑万维的 SkyReelsV1:不仅支持文生视频、图生视频,是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元:语义理解能力出色,能精准还原复杂的场景和动作,如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5:全球最快的 AI 视频生成模型,Turbo 模式下可在 10 秒内生成视频,最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能,具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面,较为突出的有 DeepSeek 的 JanusPro 模型,它将图像理解和生成统一在一个模型中;还有通义千问的视觉理解模型,其价格有较大降幅。此外,Pixverse V3.5 是全球最快的 AI 视频生成模型,在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型,因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点: 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验,具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接,产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务,适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景,如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点: 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情,全靠用户脑补,导致用户上头期短,疲劳度高,长期留存低。 3. 无法回答私有领域问题(如公司制度、人员信息等)。 4. 无法及时获取最新信息(如实时天气、比赛结果等)。 5. 无法准确回答专业问题(如复杂数学计算、图像生成等)。
2025-04-14
我是ai视频入门新手,我该如何从零学习可使用的工具组合与降低工作流程
对于 AI 视频入门新手,从零学习可用的工具组合与降低工作流程,您可以参考以下内容: 工具组合方面: Runway:在真实影像方面质感较好,战争片全景镜头处理出色,控件体验感不错,但存在爱变色、光影不稳定的问题。 SVD:在风景片测试中表现较好,其他方面一般。 Pixverse:擅长物体滑行运动。 Pika:在生成人物表情自然的画面方面表现出色,可用于局部重绘。 11labs:用于制作 AI 声音,英文效果较好,但存在声音没有情绪和情感的问题。 MJ:局部重绘功能强大。 ComfyUI:可进行高清放大和细节增强。 可灵:图生视频效果质量高且稳定,但贵且慢。 Pika 2.2 版本:在首尾帧过渡上有不错表现。 Pixverse:生成速度最快的视频生成平台。 工作流程方面: 1. 分析小说内容:使用如 ChatGPT 等 AI 工具提取关键场景、角色和情节。 2. 生成角色与场景描述:借助如 Stable Diffusion 或 Midjourney 等工具生成视觉描述。 3. 图像生成:使用 AI 图像生成工具创建角色和场景图像。 4. 视频脚本制作:将提取的关键点和生成的图像组合成脚本。 5. AI 声音制作:利用如 11labs 等工具将小说文本转换为语音,添加背景音乐和音效。 6. 视频编辑与合成:使用如剪映等视频编辑软件将图像、音频和文字合成为视频。 7. 后期处理:对生成的视频进行剪辑、添加特效和转场,提高视频质量。 8. 审阅与调整:观看视频,根据需要重新编辑某些场景或调整音频。 9. 输出与分享:完成编辑后,输出最终视频并在所需平台分享。 需要注意的是,具体的操作步骤和所需工具可能因项目需求和个人偏好有所不同。同时,AI 工具的可用性和功能可能会随时间变化,建议直接访问工具网址获取最新信息和使用指南。
2025-03-24
生产爆款内容视频可以用哪些AI工具组合
以下是一些可用于生产爆款内容视频的 AI 工具组合及相关流程: 工具组合: 1. Pika、Pixverse、Runway、SVD:可用于生成各种类型视频的画面,如剧情片、科幻片、战争片、奇幻片等。 2. ChatGPT:用于生成视频脚本、筛选背景音乐等。 3. Stable Diffusion 或 Midjourney:生成角色和场景的视觉描述。 4. Adobe Firefly:将小说文本转换为语音,添加背景音乐和音效。 5. Clipfly 或 VEED.IO:进行视频编辑与合成。 制作流程: 1. 对于已有小说,使用 AI 工具(如 ChatGPT)分析小说内容,提取关键场景、角色和情节。 2. 根据小说内容,使用工具(如 Stable Diffusion 或 Midjourney)生成角色和场景的视觉描述。 3. 使用 AI 图像生成工具根据描述创建角色和场景的图像。 4. 将提取的关键点和生成的图像组合成视频脚本。 5. 利用 AI 配音工具(如 Adobe Firefly)将小说文本转换为语音,添加背景音乐和音效。 6. 使用视频编辑软件(如 Clipfly 或 VEED.IO)将图像、音频和文字合成为视频。 7. 对生成的视频进行剪辑、添加特效和转场,以提高视频质量。 8. 观看生成的视频,根据需要进行调整,比如重新编辑某些场景或调整音频。 9. 完成所有编辑后,输出最终视频,并在所需平台上分享。 请注意,具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外,AI 工具的可用性和功能也可能会随时间而变化,建议直接访问上述提供的工具网址获取最新信息和使用指南。
2025-02-08
什么样的模型或者工具组合可以实现一键抠图?
以下模型或工具组合可以实现一键抠图: 1. 在 Yeadon 提供的图像流搭建中,智能处理工具包括“智能抠图”,可以帮助快速完成抠图任务。在图像流编辑界面,左侧的工具栏集合了所有可能用到的功能,其中智能处理工具中的“智能抠图”能够一键去除图片背景。 2. 在【SD】相关内容中,虽然主要介绍的是放大算法,但也提到了一些图像处理的相关内容。可以通过相关工具和设置来实现一键抠图的可能。 需要注意的是,具体的实现效果和操作可能因不同的场景和需求而有所差异。
2025-01-20
nova有个图生视频的功能,但是只能生成6秒钟,我要如何组合服务去实现可以文生长视频并且也可以图生长视频呢
以下是一些实现文生长视频和图生长视频的方法: 1. 使用 PixVerse V2 模型: 单个视频生成(8s):8s 的视频生成需要花费 30 Credits,5s 的视频生成需要花费 15 Credits,且只能使用 PixVerse V2 模型,生成时请注意模型选择。目前仅支持 16:9 画面比例的视频生成。 文生视频:点击“Text to Video”,在“Model”选择“PixVerse V2”,视频时长。PixVerse V2 支持多风格的视频生成,您可以通过在提示词中加入“Anime”,“Realistic”等词语做到这点。 图生视频:点击“Image to Video”,在“Model”选择“PixVerse V2”,图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能,如需要使用上述功能,请将模型切换至“PixVerse V1”。 2. 利用 runway: 视频的大部分片段用 runway(https://app.runwayml.com/)制作,少数的片段用的是即梦(https://jimeng.jianying.com/aitool/home)的动效画板和首尾帧。 以汽车内饰这一片段为例,登录 runway 账户后,在首页的左侧点击“Text/Imagine to Video”,中文即是“文生视频/图生视频”。点击 2 处将汽车内饰的图片上传到 runway 中。其中 1 处可以更改生成图片所用到的大模型版本,数字越大代表模型越强。目前只有 Gen2 每天有免费额度。3 处用于输入提示词。4 处可以修改生成的视频时长为 5s 或 10s,时长越长,生成的效果可能越不稳定。5 处可以看到生成的结果。提示词方框中输入的运镜方式“Roll Clockwise Shot slowly”是,即摄像机围绕垂直轴顺时针旋转,常用于创造动态的、有时令人眩晕的视觉效果。不想动脑的话,每个片段的运镜方式根据分镜表的建议来即可。运镜提示词该如何填写呢?可以参照:。runway 对于这些专有的运镜方式理解的很好。其他的提示词可以不填,先看看效果,如果效果不好,再补充简短的提示词重新生成视频。很多时候提示词过多,生成的视频就很怪异,像吃了毒蘑菇后看到的幻觉一样。改变提示词,改变生成时长,多抽卡几次,毕竟 runway 会员可以无限抽卡。 3. 海外产品 viva: viva 发布了首个开放给全部用户使用的 Sora 同架构视频生成模型,而且现阶段免费。支持文本生成视频、图片生成视频以及 4K 分辨率放大功能,另外也支持提示词的自动优化。文生视频单次可以生成一条 5 秒的视频,图生视频是 4 秒视频。
2024-12-19
常用的prompt的自动化词条组合有哪些?
以下是一些常用的 prompt 自动化词条组合: 1. 情境:这是一个基础的提示词框架,可作为入手选择。 2. 对于 Dynamic Prompts 插件,魔法提示词能自动生成补充,如勾选魔法提示词并设置相关参数,包括创意度、模型选择等。以 MagicPrompt 模型为例,能根据输入的关键词生成丰富的补充内容。 3. 在 Prompt 的基础篇中,每个单独的提示词叫 tag(关键词),支持英语及 emoji 。语法规则包括用英文半角逗号分隔 tag ,改变 tag 权重有两种写法,还能进行 tag 的步数控制。 如果您觉得这些例子过于复杂,可结合自身生活或工作场景,如自动给班级孩子起昵称、排版微信群运营文案、安排减脂餐、列学习计划、设计商务会议调研问卷等,来思考能帮助简单自动化的场景。
2024-10-18
AI能给数字组合排序吗
是的,AI可以对数字组合进行排序。排序是一项基本的计算机科学任务,可以通过多种算法实现。以下是几种常用的排序算法,以及如何利用AI和编程语言实现这些排序任务: 常见排序算法 1. 冒泡排序(Bubble Sort) 描述:比较相邻的元素,如果它们的顺序错误就交换,直到列表有序。 时间复杂度:O 2. 选择排序(Selection Sort) 描述:找到列表中最小的元素并将其放在已排序部分的末尾,重复该过程。 时间复杂度:O 3. 插入排序(Insertion Sort) 描述:逐步构建有序序列,对于未排序部分中的每个元素,将其插入到已排序部分的正确位置。 时间复杂度:O 4. 快速排序(Quick Sort) 描述:选择一个基准元素,将列表分成小于基准和大于基准的两部分,然后递归地对这两部分进行排序。 时间复杂度:O 5. 归并排序(Merge Sort) 描述:将列表分成两半,递归地排序这两半,然后合并排序后的两半。 时间复杂度:O 使用Python实现排序 可以使用Python中的排序函数`sorted`,也可以自己实现上述算法。以下是一些示例: 使用内置函数 ```python 使用sorted函数 numbers = sorted_numbers = sorted print 使用list.sort方法 numbers.sort print ``` 实现快速排序 ```python def quicksort: if len <= 1: return arr pivot = arr left = middle = right = return quicksort numbers = sorted_numbers = quicksort print ``` 使用AI排序 AI可以通过实现或优化排序算法,尤其是在处理大型数据集或特定排序需求时。深度学习和机器学习模型通常不会直接用于排序,但在某些复杂情况下,AI可以辅助排序任务,例如优化排序算法或处理带有特定特征的数据。 示例:TensorFlow排序 虽然深度学习框架如TensorFlow和PyTorch主要用于复杂的数据处理和模型训练,但也可以用于实现排序任务。以下是一个简单的TensorFlow排序示例: ```python import tensorflow as tf @tf.function def bubble_sort: n = tf.shape for i in tf.range: for j in tf.range: if arr: temp = arr arr arr = temp return arr numbers = tf.constant sorted_numbers = bubble_sort print ``` 以上是一些示例和方法,展示了如何使用AI和常规编程技术来对数字组合进行排序。选择合适的方法取决于具体的应用场景和需求。
2024-05-30