SFT 即监督微调（Supervised FineTuning），以下是关于 SFT 的一些相关信息： 在苹果大模型 MM1 的研究中，研究者在预训练模型之上训练了监督微调实验，从不同的数据集中收集了约 100 万个 SFT 样本，并采用扩展到高分辨率的 SFT 方法，监督微调结果显示出了模型的优越性能。 在多模态大模型的训练中，多模态微调包括监督微调（SFT）和 RLHF 两部分，目的是使模型符合人类的意图或偏好，并增强交互能力。SFT 将预训练阶段的数据转换为指令感知的格式，优化目标与预训练相同，SFT 数据可构造为单轮或多轮的 QA。 在 Gemini report 中，指令调优涵盖有监督的微调（SFT）和通过人类反馈的强化学习（RLHF），SFT 需要对“优质”数据进行整理，以进行奖励模型训练和 RLHF，数据混合比例通过较小的模型进行消融，以平衡有用性指标和减少模型危害。

以下是关于本地部署大模型以及搭建个人知识库的相关内容： 一、引言 作者是大圣，一个致力于使用 AI 工具将自己打造为超级个体的程序员，目前沉浸于 AI Agent 研究。本文将分享如何部署本地大模型及搭建个人知识库，读完可学习到如何使用 Ollama 一键部署本地大模型、了解 ChatGPT 信息流转、RAG 概念及核心技术、通过 AnythingLLM 搭建本地化数据库等。 五、本地知识库进阶 如果想要对知识库进行更灵活掌控，需要额外软件 AnythingLLM，它包含所有 Open WebUI 能力，并额外支持选择文本嵌入模型和向量数据库。 安装地址：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步： 1. 第一步：选择大模型。 2. 第二步：选择文本嵌入模型。 3. 第三步：选择向量数据库。 构建本地知识库： AnythingLLM 中有 Workspace 概念，可创建独有 Workspace 与其他项目数据隔离。 1. 首先创建一个工作空间。 2. 上传文档并在工作空间中进行文本嵌入。 3. 选择对话模式，提供 Chat 模式（大模型根据训练数据和上传文档综合给出答案）和 Query 模式（大模型仅依靠文档数据给出答案）。 配置完成后可进行测试对话。 六、写在最后 作者推崇“看十遍不如实操一遍，实操十遍不如分享一遍”。如果对 AI Agent 技术感兴趣，可联系作者或加其免费知识星球（备注 AGI 知识库）。 本文思路来源于视频号博主黄益贺，作者按照其视频进行实操并附加了一些关于 RAG 的额外知识。

数字人是运用数字技术创造出来的人，目前业界尚无准确定义，一般可根据技术栈分为真人驱动和算法驱动两类。 真人驱动的数字人重在通过动捕设备或视觉算法还原真人动作表情，主要应用于影视行业及直播带货，其表现质量与手动建模精细程度及动捕设备精密程度直接相关，不过视觉算法的进步使在无昂贵动捕设备时也能通过摄像头捕捉人体骨骼和人脸关键点信息达到不错效果。 制作数字人的工具主要有： 1. HeyGen：AI 驱动的平台，可创建逼真数字人脸和角色，使用深度学习算法生成高质量肖像和角色模型，适用于游戏、电影和虚拟现实等应用。 2. Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：提供 AI 拟真人视频产品服务和开发，上传人像照片和输入内容，平台的 AI 语音机器人自动转换成语音，合成逼真会开口说话的视频。 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。请注意，这些工具的具体功能和可用性可能会变化。使用时请遵守相关使用条款和隐私政策，并注意对生成内容的版权和伦理责任。 以下是数字人视频的制作方法： 在显示区域，拖动背景图的一个角将图片放大到适合尺寸，覆盖视频窗口，并将数字人拖动到合适位置。点击文本智能字幕识别字幕，点击开始识别，软件会自动将文字智能分段并形成字幕。至此，数字人视频完成，点击右上角“导出”按钮导出视频备用。若希望数字人换成自己希望的面孔，则需要用另一个工具来进行换脸。

模型上下文协议（MCP）是一种全新的开放协议，用于标准化地为大语言模型（LLMs）提供应用场景和数据背景。 MCP 的特点和优势包括： 简化开发：一次整合，多次复用，不再重复开发。 灵活性强：轻松切换 AI 模型或工具，无需复杂的重新配置。 实时互动：长连接保证数据实时更新。 安全可靠：内置标准化安全和权限控制。 扩展性强：AI 系统扩展时，只需连接新的 MCP 服务器。 与传统 API 相比，通常 AI 系统连接外部工具时，需要单独整合多个不同的 API，每个 API 都有独立的代码、文档、认证方式、错误处理和后续维护，极大地增加了开发复杂度。而 MCP 就像 AI 领域的“USBC 接口”，能让不同的 AI 模型与外部工具和数据源轻松连接。 传统 API 在某些场景下更适合，比如应用场景需要精准且严格受控的交互方式，包括需要细粒度控制、功能严格限制，更偏好紧耦合以提升性能，希望最大化交互的可预测性。 MCP 最早由 Anthropic 公司开发，现在已成为一个开放协议，越来越多的企业和开发者开始采用它，逐渐成为 AI 与工具互动的新标准。 要开始使用 MCP，可按照以下步骤： 1. 定义能力：明确 MCP 服务器提供的功能。 2. 实现 MCP 层：按照协议标准进行开发。 3. 选择通信方式：本地连接（标准输入输出）或远程连接（如 WebSockets）。 4. 创建资源/工具：开发或连接数据源和服务。 5. 建立客户端连接：与 MCP 服务器建立安全稳定的连接。 例如，Claude 可以通过简单的 MCP 集成直接连接到 GitHub、创建新存储库并创建 PR。

在 Coze 的输入中引用变量的方式如下： 在大模型节点的提示词中，支持使用{{variable}}引用输入参数。变量用{{}}来包裹，这里的变量就是前面输入的内容，如果变量名正确，会显示成蓝色。 在文本处理节点中，有两种工作模式。字符串拼接模式下，可以用{{变量名}}，{{变量名.子变量名}}，{{变量名}}的方式引用变量。如果直接引用一个数组类型的变量，默认会用逗号把数组中的内容连接起来，也可以指定只要数组中的某一项。字符串分隔模式下，用特定的分隔符（比如"||"、"////"或""）把一段文字拆分成多个小段。 在阅读导图的插件节点配置中，确定输入时，在输入区，该插件仅需设置{{query_text}}变量，格式是 string 字符串。只需要引用“标题、导语、大纲”节点的{{enTreeMind}}变量即可。

在 Coze 中引用变量的方法如下： 1. 对于利用大语言模型生成文本内容的节点，在提示词中支持使用{{variable}}引用输入参数。提示词本身也可通过 Coze 来写，系统做了设定，变量用{{}}包裹，变量名正确时会显示成蓝色。系统提示词和用户提示词大部分情况下差异不大，可把完整逻辑放在系统提示词里，变量相关内容放在用户提示词里。 2. 在变量节点的使用中： 第一步，在 Bot 的页面创建一个变量的名字。 第二步，在工作流中设置变量的值。变量一般在工作流中使用，首先要创建工作流。工作流中的变量节点有给变量设置值和从变量中获取值两个作用。 第三步，在工作流中获取变量的值。 3. 在文本处理节点中，有两种工作模式： 字符串拼接模式：把多段文字按照指定顺序组合成一段完整文字。在这个模式下，可以用{{变量名}}，{{变量名.子变量名}}，{{变量名}}的方式引用变量。如果直接引用一个数组类型的变量，默认会用逗号把数组中的内容连接起来，也可以指定只要数组中的某一项。 字符串分隔模式：用特定分隔符把一段文字拆分成多个小段。

以下是关于 AI 证书的相关信息： 新手学习 AI 并获取证书的途径： 首先，了解 AI 基本概念，建议阅读「」部分，熟悉术语和基础概念，包括主要分支及它们之间的联系。 浏览入门文章，了解 AI 的历史、应用和发展趋势。 在「」中找到为初学者设计的课程，特别推荐李宏毅老师的课程。还可以通过在线教育平台（如 Coursera、edX、Udacity）按自己节奏学习，有机会获得证书。 根据兴趣选择特定模块深入学习，掌握提示词技巧。 理论学习后进行实践，尝试使用各种产品做出作品，分享实践成果。 体验如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人。 相关学习资源： 云端问道：https://developer.aliyun.com/topic/techworkshop?spm=a2c6h.29649919.J_3425856640.1.45d87102rfvft7 云起实践平台：https://developer.aliyun.com/adc/?spm=a2c6h.28938832.0.0.5ca5448a0xO1Q9 人工智能认证证书： （免费） 视觉开放平台：https://vision.aliyun.com/ MQ 老师是知乎的 AI 讲师，考过了国家工信部、微软、讯飞三个初级人工智能工程师证书，并在教育行业有丰富经验和实践探索。

以下是为您推荐的用于写论文的 AI 工具： 1. 文献管理和搜索： Zotero：结合 AI 技术，可自动提取文献信息，助您管理和整理参考文献。 Semantic Scholar：由 AI 驱动的学术搜索引擎，提供文献推荐和引用分析。 2. 内容生成和辅助写作： Grammarly：通过 AI 技术提供文本校对、语法修正和写作风格建议，提高语言质量。 Quillbot：基于 AI 的重写和摘要工具，可精简和优化论文内容。 3. 研究和数据分析： Google Colab：提供基于云的 Jupyter 笔记本环境，支持 AI 和机器学习研究，便于数据分析和可视化。 Knitro：用于数学建模和优化的软件，可进行复杂的数据分析和模型构建。 4. 论文结构和格式： LaTeX：结合自动化和模板，高效处理论文格式和数学公式。 Overleaf：在线 LaTeX 编辑器，有丰富模板库和协作功能，简化编写过程。 5. 研究伦理和抄袭检测： Turnitin：广泛使用的抄袭检测工具，确保论文原创性。 Crossref Similarity Check：通过与已发表作品比较，检测潜在抄袭问题。 如果您是医学课题需要修改意见，以下工具可供选择： 1. Scite.ai：为研究人员等打造的创新平台，提供引用声明搜索等工具，简化学术工作。 2. Scholarcy：可提取文档结构化数据，生成文章概要，包含多个分析板块。 3. ChatGPT：强大的自然语言处理模型，能提供修改意见。 使用这些工具时，要结合自身写作风格和需求，选择最合适的辅助工具。同时注意，内容由 AI 大模型生成，请仔细甄别。

如果您想在未来从事 AI 事业，以下是一些学习建议： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，您将找到一系列为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛（比如图像、音乐、视频等），您可以根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试： 理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出您的作品。 在知识库提供了很多大家实践后的作品、文章分享，欢迎您实践后的分享。 5. 体验 AI 产品： 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式，获得对 AI 在实际应用中表现的第一手体验，并激发对 AI 潜力的认识。 对于中学生学习 AI，建议如下： 1. 从编程语言入手学习： 可以从 Python、JavaScript 等编程语言开始学习，学习编程语法、数据结构、算法等基础知识，为后续的 AI 学习打下基础。 2. 尝试使用 AI 工具和平台： 可以使用 ChatGPT、Midjourney 等 AI 生成工具，体验 AI 的应用场景。 探索一些面向中学生的 AI 教育平台，如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识： 了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等。 学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目： 可以参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。 尝试利用 AI 技术解决生活中的实际问题，培养动手能力。 5. 关注 AI 发展的前沿动态： 关注 AI 领域的权威媒体和学者，了解 AI 技术的最新进展。 思考 AI 技术对未来社会的影响，培养对 AI 的思考和判断能力。 AI 的技术历史和发展方向，目前最前沿的技术点包括： 1. 偏向技术研究方向： 数学基础：线性代数、概率论、优化理论等。 机器学习基础：监督学习、无监督学习、强化学习等。 深度学习：神经网络、卷积网络、递归网络、注意力机制等。 自然语言处理：语言模型、文本分类、机器翻译等。 计算机视觉：图像分类、目标检测、语义分割等。 前沿领域：大模型、多模态 AI、自监督学习、小样本学习等。 科研实践：论文阅读、模型实现、实验设计等。 2. 偏向应用方向： 编程基础：Python、C++等。 机器学习基础：监督学习、无监督学习等。 深度学习框架：TensorFlow、PyTorch 等。 应用领域：自然语言处理、计算机视觉、推荐系统等。 数据处理：数据采集、清洗、特征工程等。 模型部署：模型优化、模型服务等。 行业实践：项目实战、案例分析等。 无论是技术研究还是应用实践，数学和编程基础都是必不可少的。同时需要紧跟前沿技术发展动态，并结合实际问题进行实践锻炼。

Function Calling 是一种在自然语言处理和人工智能模型中的技术和概念。 在金融业务场景中，例如搜索欧元兑美元的当前汇率，使用前需要做好配置，如使用 Gemini 1.5 Flash 模型。 对于 ChatGPT 而言，为了让其返回符合要求的 JSON 格式，prompt 的定制尤为重要和复杂。OpenAI 发布函数调用及其他 API 更新后，开发人员可以向 gpt40613 和 gpt3.5turbo0613 描述函数，并让模型智能地选择输出一个包含调用这些函数所需参数的 JSON 对象，这是将 GPT 的能力与外部工具和 API 连接起来的新方法。例如，本地写函数执行 this.app.mysql.select，使操作更灵活。 对于 OpenAI 的 GPT 模型，Chat completions API 允许在请求中传递一系列函数描述，模型能据此生成函数参数并以 JSON 格式返回，可用于执行函数调用，函数调用的结果还能在后续请求中反馈给模型形成交互循环。想深入了解可查看 GPT 入门指南里的函数调用部分和 OpenAI Cookbook 里的用例。 需要注意的是，模型生成的代码不一定都正确和安全，运行代码前要确保环境安全，最好在沙盒里。