模态分解算法的详细代码

以下是一些多模态应用的案例： 1. 电商领域： 拍立淘：由淘宝推出，用户拍照即可识别商品并直接进入购物页面，简化购物搜索步骤。 探一下：支付宝推出的图像搜索引擎，拍照后 AI 能识别并搜索相关商品或信息。 2. 创意领域： 诗歌相机：拍照能生成一首诗，还能打印，将诗意与现代技术结合，并做成硬件形式。 3. 技术平台： 阿里云百炼大模型平台为企业侧提供各种原子级别能力，包括多模态能力。 4. 其他应用场景： 融图：如把图二中的机器人合成到图一的环境中，保持比例、细节、光影和氛围感统一。 小红书风格卡片：使用特定风格生成关于特定内容的卡片。 Logo 转 3D 效果：将图标改成 3D 立体、毛玻璃、毛绒等效果。 示意图转卡通漫画：把示意图转成幼儿园小朋友能看懂的漫画并配中文说明。 遥感理解（图像数据）：识别图中的建筑物并用色块标注。 包装图直出效果：生成图片对应的包装侧面效果图。 参考生成海报图：参考小红书封面生成 PPT 设计相关封面图。 三维建模模拟：将图片转化为 3D max 建模渲染界面并加入 UI 界面。 手办三视图：保留人物样貌、神态，制作成特定要求的 3D 手办三视图。

多模态指多数据类型交互，能够提供更接近人类感知的场景。大模型对应的模态包括文本、图像、音频、视频等。 随着生成式 AI 和大模型的发展，我们逐渐进入多模态灵活转换的新时代，即能用 AI 实现文本、图像、音频、视频及其他更多模态之间的互相理解和相互转换，这一变革依靠一系列革新性的算法。 在感知不同模态数据时，AI 借助高维向量空间来理解，不再局限于传统的单一模态处理方式，将图像或文字“压缩”成抽象的向量，捕捉深层关系。 Gemini 模型本身就是多模态的，展示了无缝结合跨模态的能力，在识别输入细节、聚合上下文以及在不同模态上应用等方面表现出强大性能。

以下是关于多模态 Agent 的最新动态： 《质朴发言：视觉语言理解模型的当前技术边界与未来应用想象｜Z 研究第 2 期》 近期，生成式 AI 领域的浪潮催化了多模态模型的探索，研究人员不断尝试使用更多模态数据的编码，以训练出能够理解和处理多种类型数据的模型。本份研究报告集中讨论了基于 Transformer 架构的视觉语言模型，报告范围专注于视觉和语言之间的交互，不考虑单纯的视觉到视觉的计算机视觉任务。 从 2022 年 11 月 18 日到 2023 年 7 月 26 日，多模态 Agents 迅速增长。 LLM 多模态 agent 是将现有技术融合的新尝试，是一种集成了多种模态数据处理能力的 AI 技术。 优点：高度的灵活性和扩展性，可根据不同任务需求调用最合适的模型处理任务，适应多样化任务和数据类型，优化资源使用，提升效率；无需训练，系统开发周期快，成本低。 局限性：调试和工程化难度较高，维护和升级成本高；多个组件紧密耦合，单点故障可能导致整个系统风险增加；没有涌现出新的能力。 适用场景：需要综合处理视频、语音和文本等多种信息的复杂环境，如自动驾驶汽车；高度交互和灵活的用户界面，如客户服务机器人或交互式娱乐应用。 《2024 年度 AI 十大趋势报告》 随着大模型对图像和视频信息的处理能力快速提升，预计 2025 年将开始出现更为综合性的多模态交互，AI 能够通过物联网、特定信息等多种感知通道进行协同。 多模态输入和输出使 AI 交互性更强、交互频次更高，适用场景也更加丰富，AI 产品整体水平显著提升。 Agent 作为融合感知、分析、决策和执行能力的智能体，能够根据用户历史行为和偏好，主动提供建议、提醒并个性化执行能力，为用户提供高度个性化的任务。从 2025 年开始，AI Agent 即将广泛投入使用。 从个性化推荐到直接生成个性化内容，AIGC 能够使用户体验的个性化程度有明显提升，这将帮助产品进一步完善用户体验，并通过提高用户忠诚度和迁移成本，实现差异化定价和进一步的服务增值，对产品的差异化竞争有重大意义。目前，基于 AIGC 的高度个性化已经在 AI 教育、AI 陪伴、AI 营销领域有明显进展。在硬件端搭载的多款 AI 智能助手也已开始以高度个性的个人助理作为宣传重点。

目前阿里发布的 Qwen 多模态模型中，Qwen2.5VL 较为突出。它可处理长达数小时的视频，并在电脑上执行自动化任务。提供 3B、7B、72B 三种规模，旗舰版对标 GPT4o、Claude 3.5 Sonnet。具备全文档解析能力，支持手写、表格、图表、化学公式等多场景识别，还可操作电脑或手机界面，执行自动化任务，如点击按钮、填表等。详情可参考：https://www.xiaohu.ai/c/xiaohuai/qwen25vl285cee 。此外，Qwen2.5Max 也是阿里通义千问的大型专家模型（MoE），基于 SFT 和 RLHF 策略训练，在多项基准如 Arena Hard、LiveBench、LiveCodeBench、GPQADiamond 上超越 DeepSeek V3，引发社区关注。更多体验方式包括支持官方 Chat、API 接口、Hugging Face Demo 等，详情可参考：https://qwenlm.github.io/blog/qwen2.5max/ 、https://chat.qwenlm.ai 、https://alibabacloud.com/help/en/modelstudio/gettingstarted/firstapicalltoqwen?spm=a2c63.p38356.helpmenu2400256.d_0_1_0.1f6574a72ddbKE 、https://huggingface.co/spaces/Qwen/Qwen2.5MaxDemo 。

构建多模态知识库可以参考以下步骤： 1. 图像知识库方面：通过多模态的能力对图片信息进行检索理解。效果测试时，上传一张图片，在图像数据库里找到相关信息，然后结合内容进行回复。 2. 构建图片索引： 新建结构化数据表时，将图片索引所在列的字段类型设置为 link。需注意新建数据表后，无法再新增或修改字段类型为 link。 创建结构化知识库时，对于需要建立图片索引的 link 类型字段，在旁边的下拉列表中选择图片。创建知识库后，无法再新建或修改图片索引。 3. 多模态知识库还包括构建图片型索引需结构化数据表，字段类型设置为 link，以实现 FAQ 中向用户推送图片信息。

以下是一些常见的多模态模型排行及相关信息： 1. 智谱·AI 开源模型： CogAgent18B：基于 CogVLM17B 改进的开源视觉语言模型，拥有 110 亿视觉参数和 70 亿语言参数，支持 11201120 分辨率的图像理解，在 CogVLM 功能基础上具备 GUI 图像的 Agent 能力。代码链接：。 CogVLM17B：强大的开源视觉语言模型（VLM），在多模态权威学术榜单上综合成绩第一，在 14 个数据集上取得了 stateoftheart 或者第二名的成绩。代码链接：。 Visualglm6B：开源的支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM6B，具有 62 亿参数；图像部分通过训练 BLIP2Qformer 构建起视觉模型与语言模型的桥梁，整体模型共 78 亿参数。代码链接：。 2. Gemini 模型：Gemini Ultra 在表 7 中的各种图像理解基准测试中都是最先进的，在回答自然图像和扫描文档的问题，以及理解信息图表、图表和科学图解等各种任务中表现出强大的性能。在 zeroshot 评估中表现更好，超过了几个专门在基准训练集上进行微调的现有模型，适用于大多数任务。在 MMMU 基准测试中取得了最好的分数，比最先进的结果提高了 5 个百分点以上，并在 6 个学科中的 5 个学科中超过了以前的最佳结果。 3. 多模态思维链提示方法：Zhang 等人（2023）提出了一种多模态思维链提示方法，多模态 CoT 模型（1B）在 ScienceQA 基准测试中的表现优于 GPT3.5。

以下是关于 MiniMax 的大模型算法热点的相关内容： 1. MiniMax 有两个适合特定任务的大模型：MiniMaxText01 支持 400 万 token 的上下文，能应对超长文章；T2A v2（speech01turbo）拥有最好的声音复刻效果。可以通过其开放平台（https://platform.minimaxi.com/login ）进行注册登录及实名认证。首次注册会赠送 15 元，API 消耗会消耗余额，生成一条 3 分钟的语音，文本模型消耗 1 分钱，语音模型消耗 5 毛钱，克隆音色有额外费用，现优惠 9.9 元。接着创建 API Key 并保存好，以及 groupid。还可以克隆声音，相关链接为 https://platform.minimaxi.com/examinationcenter/voiceexperiencecenter/voiceCloning ，有创建 voice id、上传复刻音频及音频 prompt、试听文本等操作，勾选用户协议点击“克隆”选项一段时间后完成克隆，使用填写的 voice id 生成声音。 2. MiniMax 推出了 MoE 架构的新模型，其“星野”是目前国内最成功的 AI 陪聊 APP。 3. MiniMax 近日发布新模型 MiniMax01，采用线性注意力机制和 MoE 架构，显著提升上下文处理能力，支持超长上下文（400 万 Token），在多项学术基准上表现优异，超越许多国际顶尖模型。其开源旨在促进长上下文研究和应用，加速 Agent 时代的到来，通过精细架构设计和训练策略，在处理长输入时实现接近线性的计算效率。

以下是 AI 模型和机器学习的分类： 1. AI（人工智能）：是一个广泛的概念，旨在使计算机系统能够模拟人类智能。 2. 机器学习：是人工智能的一个子领域，让计算机通过数据学习来提高性能。包括以下几种类型： 监督学习：使用有标签的训练数据，算法学习输入和输出之间的映射关系，包括分类和回归任务。 无监督学习：学习的数据没有标签，算法自主发现规律，经典任务如聚类。 强化学习：从反馈中学习，以最大化奖励或最小化损失，类似训练小狗。 3. 深度学习：是机器学习的一个子领域，模拟人脑创建人工神经网络处理数据，包含多个处理层，在图像识别、语音识别和自然语言处理等任务中表现出色。 4. 大语言模型：是深度学习在自然语言处理领域的应用，目标是理解和生成人类语言，如 ChatGPT、文心一言等。同时具有生成式 AI 的特点，能够生成文本、图像、音频和视频等内容。 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它基于自注意力机制处理序列数据，不依赖循环神经网络或卷积神经网络。生成式 AI 生成的内容称为 AIGC。

人工智能算法的发展历程大致如下： 早期的国际象棋对弈程序以搜索为基础，发展出了阿尔法贝塔剪枝搜索算法。在对局开始时搜索空间巨大，随后通过学习人类棋手对局采用了基于案例的推理。现代能战胜人类棋手的对弈程序基于神经网络和强化学习，能从自身错误中学习，且学习速度快于人类。 创建“会说话的程序”的方法也在变化，早期如 Eliza 基于简单语法规则，现代助手如 Cortana、Siri 或谷歌助手是混合系统，使用神经网络转换语音并识别意图，未来有望出现完整基于神经网络的模型处理对话，如 GPT 和 TuringNLG 系列神经网络取得了巨大成功。 在机器学习方面，算法通过分析数据和推断模型建立参数，或与环境互动学习，人类可注释数据，环境可为模拟或真实世界。 深度学习是一种机器学习算法，由 Geoffrey Hinton 开创，1986 年发表开创性论文引入反向传播概念，2012 年 Hinton 和学生表明深度神经网络在图像识别方面击败先进系统。为使深度学习按预期工作，需要数据，如李飞飞创建的 ImageNet。 AI 技术发展历程包括早期阶段的专家系统、博弈论、机器学习初步理论；知识驱动时期的专家系统、知识表示、自动推理；统计学习时期的机器学习算法；深度学习时期的深度神经网络、卷积神经网络、循环神经网络等。 当前 AI 前沿技术点有大模型（如 GPT、PaLM 等）、多模态 AI、自监督学习、小样本学习、可解释 AI、机器人学、量子 AI、AI 芯片和硬件加速等。

学习 AI 算法可以从以下几个方面入手： 1. 神经网络和深度学习方面： 了解麦卡洛克皮兹模型，感知机的学习机制，如罗森布拉特受唐纳德·赫布基础性工作的启发想出的让人工神经元学习的办法，包括赫布法则。 熟悉感知机学习算法的具体步骤，如从随机权重和训练集开始，根据输出值与实例的差异调整权重，直到不再出错。 2. Python 与 AI 基础方面： 掌握 AI 背景知识，包括人工智能、机器学习、深度学习的定义及其关系，以及 AI 的发展历程和重要里程碑。 巩固数学基础，如统计学基础（熟悉均值、中位数、方差等统计概念）、线性代数（了解向量、矩阵等基本概念）、概率论（基础的概率论知识，如条件概率、贝叶斯定理）。 学习算法和模型，包括监督学习（如线性回归、决策树、支持向量机）、无监督学习（如聚类、降维）、强化学习的基本概念。 了解模型的评估和调优方法，如性能评估（包括交叉验证、精确度、召回率等）、模型调优（如使用网格搜索等技术优化模型参数）。 熟悉神经网络基础，如网络结构（包括前馈网络、卷积神经网络、循环神经网络）、激活函数（如 ReLU、Sigmoid、Tanh）。 3. 强化学习方面： 了解在人工智能发展中，利用新算法解决挑战性问题的思路，如在某些领域找到适合的模拟任务环境进行训练和学习，不依赖人类专家先验。 以 AlphaZero 为例，理解其模型公式，包括定义神经网络、网络权重、棋盘状态表示、网络输出等。

以下是为 Java 程序员转型大模型算法工程师提供的一些建议： 1. 学习相关理论知识：了解大模型的基本原理，包括模型架构、预训练及微调、部署及推理等。 2. 掌握技术工具：熟悉 LLM 相关技术，如 Transformer、Prompt Tuning、RLHF、Langchain、Agent、MOE、RAG 等。 3. 提升编程能力：熟悉算法和数据结构，具备扎实的编程基础，尤其是 Python 开发。 4. 积累项目经验： 可以参考大圣的全网最适合小白的 Llama3 部署和微调教程，该教程手把手教您下载并部署 Llama3 模型，使用甄嬛数据集微调模型，并了解微调的意义和概念。但需注意，此教程不会讲解微调的技术性原理及文中用到的 Python 代码。 关注招聘信息，例如序智科技和中国移动设计院的招聘需求，了解大模型算法工程师的职责和要求，针对性地提升自己的能力。 5. 增强相关技能： 对至少 2 个框架具备源码级别的理解和优化能力，包括但不限于 Langchain、XAgent、ChatDev、DsPy、AutoGPT、BabyAGI、MetaGPT。 熟悉 GPT Function Calling 原理，熟练掌握 Prompt Engineering。 对预训练/微调（尤其是微调）熟练，熟练掌握 huggingface/deepspeed（或其他框架）。 对多模态大模型有一定了解，精通低代码平台会是加分项。 您可以根据自身情况，有针对性地进行学习和实践，逐步实现从 Java 程序员向大模型算法工程师的转型。

卷积神经网络（CNN）是一种用于图像分类识别的 AI 算法技术。 ImageNet 成为深度神经网络革命的首选数据集，其中由 Hinton 领导的 AlexNet 就是基于卷积神经网络（CNN）。自 2012 年以来，在深度学习理论和数据集的支持下，深度神经网络算法大爆发，包括卷积神经网络（CNN）等。 连接主义的全面逆袭从 2012 年开始，欣顿教授和他的学生建立的 AlexNet 就是使用反向传播算法训练的卷积神经网络（CNN），其在图像识别方面击败了当时最先进的逻辑程序。 虽然 CNN 模型取得了显著成果并解决了许多问题，但也存在一些缺陷，如不能从整幅图像和部分图像识别出姿势、纹理和变化，池化操作导致模型不具备等变、丢失很多信息，需要更多训练数据来补偿损失，更适合像素扰动极大的图像分类，对某些不同视角的图像识别能力相对较差。因此，在 2011 年，Hinton 和他的同事们提出了胶囊网络（CapsNet）作为 CNN 模型的替代。

如果您要分析代码功能，可以参考以下步骤： 1. 准备工作： 分析要拷贝页面的技术栈，可通过打开 https://www.wappalyzer.com/ 输入要分析的网站地址获取。 截图要克隆的网页。 分析页面功能，如顶部导航栏、页面主体区域（包括分类在左边、文章列表在右边、标题位置、文章卡片展示位置、文章列表和分类区域）、底部导航栏。 2. 开始克隆出效果，并逐渐完善： 根据分析拆分后续要实现的内容，如先实现文章列表部分和底部导航栏。 对于文章列表部分，可使用提示词根据图片实现，注意不要直接点击全部接受，先看效果，不符合需求可拒绝或让 AI 解释新增代码的作用。 对于左侧菜单栏，可通过提示词实现，如要求内容是文章的分类，在页面滚动时菜单会吸顶。若出现异常，可选中所有异常添加到对话，让 AI 解决。 可让 AI 添加注释解释每段代码对应的功能，以便精准提出修改建议。 明确提示词，说清楚要实现的功能的位置、大小、效果。 3. 对于 AI Review（测试版）： 这是一项可查看代码库中最近更改以捕获潜在错误的功能。 您可以单击各个审阅项以查看编辑器中的完整上下文，并与 AI 聊天获取详细信息。 为让其更有利，您可为 AI 提供自定义说明以专注于特定方面，如性能相关问题。 目前有几个选项可供选择进行审核，如查看工作状态、查看与主分支的差异、查看上次提交。

以下是关于代码可视化的相关内容： 常用的图表、公式和结构可视化代码语言及工具： |名称|用途|举例| |||| |AsciiMath|数学公式和方程表示|x2+y^2=r^2| |Graphviz|绘制图形、流程图|digraph G{A>B;B>C;}| |PlantUML|流程图、序列图、类图等|@startuml Alice>Bob:Hello| |ChemDraw XML|化学分子式表示|<molecule><atom>H</atom></molecule>| |OpenSCAD|3D CAD 设计|cube| |Circuitikz|电路图|\\begin{circuitikz}\\draw;\\end{circuitikz}| |AsciiDoctor=1.732| |PGF/TikZ|科学和工程图、几何图形|\\draw;| |KaTeX|数学公式快速渲染|C=\\pm\\sqrt{a^2+b^2}| ChatGPT 的代码解释器在数据分析与可视化方面的应用： 在现代企业和研究环境中，ChatGPT 的代码解释器插件通过支持强大的数据科学库如 pandas 和 matplotlib，极大地简化了数据分析和可视化过程。用户可以直接通过自然语言请求，指导 ChatGPT 进行数据操作和生成图表。例如，市场分析师可以分析产品销售数据并展示不同地区的销售表现，环境科学家可以分析过去十年的气温变化数据。但需注意，如果图示是中文的，可能显示不了，需要上传字体文件上去，此问题暂时还未解决。 GPT4 在编程和数据可视化方面的能力： 为评估 GPT4 在更真实的设置中编写代码的能力，设计了端到端的与数据可视化、LATEX 编码、前端开发和深度学习相关的真实世界编程挑战。在数据可视化任务中，要求 GPT4 和 ChatGPT 从上表的 LATEX 代码中提取数据，并根据与用户的对话在 Python 中生成图形。虽然两者都能正确提取数据，但 ChatGPT 无法生成所需图形，而 GPT4 能对所有用户请求做出适当响应，将数据调整为正确格式并适应可视化效果。

很抱歉，目前没有关于 Randoop 工具使用方法的相关内容。您可以通过以下途径获取更详细的信息： 1. 官方文档：访问 Randoop 的官方网站，查找其提供的详细使用说明和教程。 2. 技术论坛：在相关的技术论坛上搜索关于 Randoop 使用的讨论和经验分享。 3. 开源社区：参与开源社区中关于 Randoop 的交流，向其他开发者请教。

目前对于“最好的代码模型”没有一个绝对的定论。以下为您介绍一些常见且受到关注的代码模型： 许多人认为 3.5 Sonnet 是较好的代码模型，但它没有相关论文。 开放代码模型方面，您可以从 DeepSeekCoder（https://ar5iv.labs.arxiv.org/html/2401.14196?_immersive_translate_auto_translate=1）、Qwen2.5Coder（https://arxiv.org/html/2409.12186?_immersive_translate_auto_translate=1）或 CodeLlama 中选择。 智谱·AI 开源模型列表中的代码模型有： CodeGeeX26B：是 CodeGeeX 的第二代模型，基于 ChatGLM2 架构加入代码预训练实现，在多项指标上有性能提升。 CodeGeeX26Bint4：CodeGeeX2 的量化版本。 CodeGeeX13B：第一代 CodeGeeX，具有 130 亿参数的多编程语言代码生成预训练模型。 需要注意的是，最好的模型将来自优秀的人类数据和合成数据的结合，同时对于模型的评估还涉及到如“氛围感”等较主观和难以量化的方面。

以下是关于 AI 提示词相关的系统提示内容： 1. ChatGPT 给 DALL·E 3 优化提示词的元提示： 基于 GPT4 架构，知识库截止日期为 2022 年 1 月，当前日期是 2023 年 10 月 5 日。 描述了名为“dalle”的工具，用于创建图像并总结提示为纯文本。 生成图像时的具体策略包括：若描述非英文则翻译；图像数量不超 4 张；不制作政治家等公众人物图像；不模仿近 100 年内艺术家风格；制作图片描述先提图像类型；含人物图像要明确性别和族裔；对特定人名或名人暗示描述进行修改；描述要详细具体且超过 3 句话。 提供了名为 text2im 的接口，包含图像分辨率、原始图像描述和种子值三个参数。 此元提示非常详尽，旨在确保交互生成高质量、符合规范和策略的图像。 2. 云中江树：智能对决：提示词攻防中的 AI 安全博弈 系统提示词包含应用原信息、整体功能信息、产品设定及 AI 应用逻辑。以 ChatGPT 为例，详细描述了身份、角色、时间、记忆功能、DALLE 绘图功能、限制、调用方式等。 提示词越狱的常见方式有角色扮演、情境模拟、任务伪装、模式重构等，如 DAN 模式可解禁让其讨论敏感内容。 直接攻击类型中攻击者往往是用户。 间接注入常发生在应用获取或依赖外部数据资源时，攻击者是第三方，通过隐藏恶意指令完成攻击。 提示词泄露是试图操纵模型输出获取部分或全部系统提示词，大模型输出内容可分为系统提示词、用户提示、助手提示词三段，通过简单指令可攻击获取系统提示词。

写代码的最佳模型取决于具体的需求和任务。以下是一些相关要点： 1. 对于不同人使用同一个模型，结果差异大的原因在于是否懂 AI 和懂内容，专业写作通常会混合使用多个模型并取其精华，例如 Grok、Gemini、GPT 各有优势，关键在于如何运用。 2. 在需要精确计算时，可以使用代码或调用 API。GPT 自身进行算术或长计算可能不准确，此时应让模型编写并运行代码，运行代码输出结果后，再将其作为输入提供给模型进行下一步处理。同时调用外部 API 也是代码执行的一个好的用例，但执行代码时要注意安全性，需采取预防措施，特别是需要一个沙盒化的代码执行环境来限制不可信代码可能造成的危害。 3. 文本补全端点可用于各种任务，它提供了简单且强大的接口连接到任何模型。输入一些文本作为提示，模型会生成文本补全，试图匹配给定的上下文或模式。探索文本补全的最佳方式是通过 Playground，它是一个文本框，可提交提示生成完成内容。由于 API 默认是非确定性的，每次调用可能得到稍有不同的完成，将温度设置为 0 可使输出大部分确定，但仍可能有小部分变化。通过提供指令或示例可以“编程”模型，提示的成功通常取决于任务复杂性和提示质量，好的提示应提供足够信息让模型明确需求和回应方式。 需要注意的是，默认模型的训练数据截止到 2021 年，可能不了解当前事件情况。

以下是关于用 Coze 分解短视频分镜的详细内容： 一、Coze 智能体创建 1. “开始”节点 共有 4 个输入变量，分别为： idea_txt：主题观点 left_to_txt：画面左上角的文字 right_to_txt：画面右上角的文字 img_prmpot：画面中间图片生成提示词 注意：这 4 个变量名称要和智能体中提示词的变量对应一致，方便接收用户传入的参数。 2. “大模型”节点 使用目前大家公认的 DeepSeek R1 模型。 提示词要求不复杂，只要说出需求即可，格式可用大白话说出来。 3. “文本”节点 为了将文案分句，每一句要生图、配音。 选择按“句号”分句，具体可根据文案格式选择不同方式。 4. “图像生成”节点 使用官方插件，模型选“LOGO 设计”。 若要生成全景图，此插件效果欠佳，建议选其它插件。 5. “抠图节点” 将上个节点生成的图片进行抠图。 二、概述 基于其他博主开源的视频生成工作流，做了一些功能优化，实现视频全自动创建。感谢开源的力量，现写一篇教程供大家参考。 三、先看效果 四、功能 通过表单输入主题观点，提交后自动创建文案短视频，创建完成后推送视频链接到飞书消息。 五、涉及工具 1. Coze 平台（工作流、DeepSeek R1、文生图、画板、文生音频、图+音频合成视频、多视频合成） 2. 飞书（消息） 3. 飞书多维表格（字段捷径、自动化流程） 六、大体路径 1. 通过 Coze 创建智能体，创建工作流，使用 DeepSeek R1 根据用户观点创建文案，再创建视频。 2. 发布 Coze 智能体到飞书多维表格。 3. 在多维表格中使用字段捷径，引用该智能体。 4. 在多维表格中创建自动化流程，推送消息给指定飞书用户。

以下是关于生成记忆卡片和 SVG 卡片的相关信息： 卡片类的应用被定义为词生卡片，如李继刚的《汉语新解》、一泽的《名片设计》、云中江树的《AI 简历》等，都是通过给大模型优化过的 Prompt，让其生成 HTML 代码或 SVG 代码，再通过浏览器渲染效果。 把提示词丢给 Claude ，如在 Poe 平台上的 Claude 模型，大概率会直接输出 SVG 代码，但对于子步骤是否执行等情况难以知晓。Andrej Karpathy 认为，模型需要 tokens 来思考，如果大语言模型未将思考过程外化，则几乎等于没思考。 甲木介绍了让 Claude 生成古诗词卡片的方法，流程包括输入 Prompt 、用户输入主题和风格，AI 输出最终结果。获取提示词已开源，创作过程主要是根据给定主题和方向生成匹配的中国古诗词，创建设计感强烈、富有中国传统美学的 SVG 卡片展示诗词，并提供相关信息，还支持根据用户提供的主题和方向生成对应语境的 prompt 并配图生成 SVGCard 。但对于“逼格高”的看法因人而异，可将选择权交给 AI 。

以下是一些可将复杂任务分解为简单子任务的 AI 工具和相关策略： OpenAI 官方指南中提到，对于需要大量独立指令集来处理不同情况的任务，可以首先对查询类型进行分类，并使用该分类来确定需要的指令。例如，在客户服务应用程序中，将查询分类为计费、技术支持、账户管理或一般查询等主要类别，并进一步细分次要类别。 如同软件工程中将复杂系统分解为模块化组件，对 GPT 提交的任务也可如此。复杂任务往往可被重新定义为一系列简单任务的工作流程，早期任务的输出用于构造后续任务的输入。 在 AIAgent 系列中，基于 LLM 的 AI Agent 应首先以适当的方式将复杂任务分解为子任务，然后有效地组织和协调这些子任务，这有赖于 LLM 的推理和规划能力以及对工具的理解。

以下是一些可将复杂任务分解为简单子任务以简化问题的 AI 工具和相关策略： 1. OpenAI 官方指南中提到的策略： 使用意图分类来识别与用户查询最相关的指令。 对于需要很长对话的对话应用程序，总结或过滤之前的对话。 分段总结长文档，并递归构建完整总结。 指示模型在急于得出结论之前先自己找出解决方案。 使用内心独白或一系列查询来隐藏模型的推理过程。 询问模型在之前的回答中是否遗漏了什么。 使用基于嵌入的搜索来实现高效的知识检索。 使用代码执行来进行更准确的计算或调用外部 API。 2. 在 AIAgent 系列中： 基于 LLM 的 AI Agent 应首先以适当的方式将复杂任务分解为子任务，然后有效地组织和协调这些子任务，这有赖于 LLM 的推理和规划能力，当然也包括对工具的理解。

以下几种 AI 在思路分解方面具有一定的优势和特点： 1. 专家 AI：鉴于其神经网络基础，可能通过元学习更快地获得知识。通过构建系统深入探索其内部工作机制，能创造学习的飞轮，未来甚至可能成为下一代专家的教师，帮助我们将复杂问题一部分一部分地拆解研究。 2. ChatGPT：在某些实用向话题，如写代码、解数学题等方面表现相对稳定，能够为解决问题提供一定的思路。 3. 大语言模型：可以加速认知提升，指导学习。人类可以利用其培养结构化思维，将复杂问题分解成更小、更易管理的部分，并通过逻辑和有条理的步骤来解决，从而达到解决整体问题的目的。 需要注意的是，不同的 AI 在不同的场景和任务中表现各异，具体的效果还需根据实际需求和使用情况来评估。

以下是关于将工作任务分解为具体步骤的提示词相关内容： 提示词工程的任务可分解为两个步骤，如 Pryzant 等人（2023）所做：第一步，模型预期检查当前提示词和一批样本；第二步，模型预期编写一个改进的提示词。 对于复杂任务，可将其分解成更小的步骤，并在提示词中明确每个步骤的具体操作，引导模型逐步完成任务。例如，使用以下逐步说明：步骤 1 用户将提供用三重引号引用的文本。用一个句子总结这段文本，并以“摘要：”作为前缀。步骤 2 将步骤 1 的摘要翻译成西班牙语，前缀为“翻译：”。 如果将任务分解，Claude 在执行任务时犯错或遗漏关键步骤的可能性会降低。 为了鼓励模型仔细检查批次中的每个示例，并反思当前提示词的局限性，可指导提案模型回答一系列问题，如输出是否正确、提示词是否正确描述了任务、是否有必要编辑提示词等。 实际操作中，提示词插入整个输入序列的位置是灵活的，可能位于输入文本之前用于描述任务，也可能出现在输入文本之后以激发推理能力。在元提示词中应明确提示词和输入之间的相互作用。