RAG应用的案例，结合本地知识库和开放搜索

RAG（RetrievalAugmented Generation，检索增强生成）是一种结合检索和生成能力的自然语言处理架构。 通用语言模型通过微调可完成常见任务，而更复杂和知识密集型任务可基于语言模型构建系统，访问外部知识源来完成，如 Meta AI 引入的 RAG 方法。RAG 把信息检索组件和文本生成模型结合，可微调，内部知识修改高效，无需重新训练整个模型。它会接受输入并检索相关支撑文档，给出来源，与原始提示词组合后送给文本生成器得到输出，能适应事实变化，让语言模型获取最新信息并生成可靠输出。 大语言模型（LLM）存在一些缺点，如无法记住所有知识尤其是长尾知识、知识易过时且不好更新、输出难以解释和验证、易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有诸多优点，如数据库存储和更新稳定且无学习风险、数据更新敏捷且不影响原有知识、降低大模型输出出错可能、便于管控用户隐私数据、降低大模型训练成本。 在 RAG 系统开发中存在 12 个主要难题，并已有相应的解决策略。

RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点： 1. LLM 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. LLM 的知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. LLM 的输出难以解释和验证，存在内容黑盒、不可控以及受幻觉等问题干扰的情况。 4. LLM 容易泄露隐私训练数据。 5. LLM 的规模大，训练和运行成本高。 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器，包括 PDF 在内的非结构化数据、SQL 在内的结构化数据，以及 Python、Java 之类的代码等。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储：涉及将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。

RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型存在一些缺点，如无法记住所有知识（尤其是长尾知识）、知识容易过时且不好更新、输出难以解释和验证、容易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，增删改查可解释，且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型本身的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档。 2. 文本分割：把 Documents 切分为指定大小的块。 3. 存储：包括将切分好的文档块进行嵌入转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。

LangChain 和 RAG 的结合具有以下优势： 1. 灵活性：可根据需求和数据源选择不同组件和参数定制 RAG 应用，也能使用自定义组件（需遵循接口规范）。 2. 可扩展性：能利用 LangChain 的云服务部署和运行，无需担忧资源和性能限制，还可借助分布式计算功能加速应用，发挥多个节点并行处理能力。 3. 可视化：通过 LangSmith 可视化工作流程，查看各步骤输入输出及组件性能状态，用于调试和优化，发现并解决潜在问题和瓶颈。 其应用场景多样，包括： 1. 专业问答：构建医疗、法律、金融等专业领域的问答应用，从专业数据源检索信息辅助大模型回答问题，如从医学文献中检索疾病诊治方案回答医疗问题。 2. 文本摘要：构建新闻或论文摘要应用，从多个数据源检索相关文本帮助大模型生成综合摘要，如从多个新闻网站检索同一事件报道生成全面摘要。 3. 文本生成：构建诗歌、故事生成等应用，从不同数据源检索灵感协助大模型生成更有趣和创意的文本，如从诗歌、歌词或小说中检索相关文本生成作品。 此外，还介绍了本地部署资讯问答机器人的实现方式，即基于用户问题从向量数据库检索相关段落并按阈值过滤，让模型参考上下文信息回答，还创建了网页 UI 并进行评测，对不同模型的测试表现进行了对比，得出 GPT4 表现最佳等结论，并总结了使用 Langchain 和 Ollama 技术栈在本地部署资讯问答机器人及相关要点，即上下文数据质量和大模型性能决定 RAG 系统性能上限。

飞书智能伙伴创建平台（英文名：Aily）是飞书团队旗下的企业级 AI 应用开发平台，能提供简单、安全且高效的环境，帮助企业构建和发布 AI 应用，推动业务创新和效率提升，为企业探索大语言模型应用新篇章、迎接智能化未来提供理想选择。 在飞书智能伙伴创建平台上实现 RAG 相关应用有多种方式： 1. 利用飞书的知识库智能问答技术，引入 RAG 技术，通过机器人帮助用户快速检索内容。 2. 可以使用飞书的智能伙伴功能搭建 FAQ 机器人，了解智能助理的原理和使用方法。 3. 本地部署资讯问答机器人，如通过 Langchain + Ollama + RSSHub 实现 RAG，包括导入依赖库、从订阅源获取内容、为文档内容生成向量等步骤。例如使用 feedparse 解析 RSS 订阅源，ollama 跑大模型（使用前需确保服务开启并下载好模型），使用文本向量模型 bgem3（如从 https://huggingface.co/BAAI/bgem3 下载，假设放置在某个路径 /path/to/bgem3，通过函数利用 FAISS 创建高效向量存储）。 使用飞书智能伙伴创建平台的方式： 1. 在 WaytoAGI 飞书知识库首页找到加入飞书群的链接（二维码会定期更新，需在找到最新二维码），点击加入，直接@机器人。 2. 在 WaytoAGI.com 的网站首页，直接输入问题即可得到回答。 创建问答机器人的原因： 1. 知识库内容庞大，新用户难以快速找到所需内容。 2. 传统搜索基于关键词及相关性，存在局限性。 3. 需要用更先进的 RAG 技术解决问题。 4. 在群中提供快速检索信息的方式，使用更便捷。 2024 年 2 月 22 日的会议介绍了 WaytoAGI 社区的成立愿景和目标，以及其在飞书平台上的知识库和社区情况，讨论了相关技术和应用场景，并介绍了企业级 agent 方面的实践。

RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点： 1. LLM 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. LLM 的知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. LLM 的输出难以解释和验证，存在内容黑盒、不可控及受幻觉干扰等问题。 4. LLM 容易泄露隐私训练数据。 5. LLM 的规模大，训练和运行成本高。 而 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景如知识问答系统，用户提出问题，RAG 模型从大规模的文档集合中检索相关的文档，然后生成回答。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块。 3. 存储：包括将切分好的文档块进行嵌入转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。

以下是关于在 Coze 中搭建智能体的相关信息： 1. 证件照相关操作： 展示原图上传结果，基本脸型已换，生成效果与上传照片特征有关。 改背景可利用改图功能，一键改图效果更好，输出数据类型为图片。 豆包节点生成的是 URL 地址，与前者不同，在工作流使用有差异，可参考简单提示词。 介绍证件照工作流相关操作，包括通过提示词改背景颜色，设置输出方式为返回变量；讲解消耗 token 及保存结果相关问题；对按钮、表单添加事件并设置参数，限制上传文件数量；还涉及给表单和图片绑定数据，以及每次操作后刷新界面确保设置生效。 围绕操作讲解与优化展开，介绍 for meet 的设置，如表单事件操作、图片上传数量修改等，提及编程基础知识。还讲述成果图连接、绑定数据方法及注意事项。展示基本功能实现情况，分析换性别等问题成因，指出需在工作流优化提示词，也可尝试用视频模型解决，最后进入问答环节。 2. 多维表格的高速数据分析： 创建智能体，使用单 Agent 对话流模式。 编排对话流，创建新的对话流并关联智能体。 使用代码节点对两个插件获取的结果进行数据处理，注意代码节点输出的配置格式。 测试，找到一篇小红书笔记，试运行对话流，在对话窗口输入地址查看数据。 发布，选择多维表格，配置输出类型为文本，输入类型选择字段选择器，完善上架信息，可选择仅自己可用以加快审核。 3. 智能体与微信和微信群的连接： 创建知识库，可选择手动清洗数据提高准确性，包括在线知识库和本地文档。 在线知识库创建时，飞书在线文档中每个问题和答案以分割，可编辑修改和删除。 本地文档中注意拆分内容提高训练数据准确度，如将课程章节按固定方式人工标注和处理。 发布应用，确保在 Bot 商店中能够搜到。

以下是关于 Coze 搭建知识库和上传文件的对比分析： 创建文本型知识库： 自动分段与清洗：扣子可对上传的内容进行自动解析，支持复杂布局的文件处理，如识别段落、页眉/页脚/脚注等非重点内容，支持跨页跨栏的段落合并，支持解析表格中的图片和文档中的表格内容（目前仅支持带线框的表格）。操作步骤为在分段设置页面选择自动分段与清洗，然后依次单击下一步、确认，可查看分段效果，不满意可重新分段并使用自定义分段。 自定义：支持自定义分段规则、分段长度及预处理规则。操作时在分段设置页面选择自定义，然后依次设置分段规则和预处理规则，包括选择分段标识符、设置分段最大长度和文本预处理规则，最后单击下一步完成内容分段。 创建表格型知识库： 目前支持 4 种导入类型：本地文档、API、飞书、自定义。 本地文档：选择本地文档从本地文件中导入表格数据，目前支持上传 Excel 和 CSV 格式的文件，文件不得大于 20M，一次最多可上传 10 个文件，且表格内需要有列名和对应的数据。 API：参考特定操作从 API 返回数据中上传表格内容，包括选择 API、单击新增 API、输入 API URL 并选择数据更新频率，然后单击下一步。 飞书：参考特定操作从飞书表格中导入内容，包括选择飞书、在新增知识库页面单击授权并选择要导入数据的飞书账号、单击安装扣子应用（仅首次导入需授权和安装），然后选择要导入的表格并单击下一步。目前仅支持导入“我的空间”下的飞书文档，云文档的创建者必须是自己，暂不支持导入知识库和共享空间下的云文档。 上传文本内容： 在线数据：扣子支持自动抓取指定 URL 的内容，也支持手动采集指定页面上的内容，上传到数据库。 自动采集方式：适用于内容量大、需批量快速导入的场景。操作步骤为在文本格式页签下选择在线数据，然后依次单击下一步、自动采集、新增 URL，输入网站地址、选择是否定期同步及周期，最后单击确认，上传完成后单击下一步，系统会自动分片。 手动采集：适用于精准采集网页指定内容的场景。操作步骤为安装扩展程序，在文本格式页签下选择在线数据，然后依次单击下一步、手动采集、授予权限，输入采集内容的网址，标注提取内容，查看数据确认无误后完成并采集。

构建知识库的方法主要有以下几种： 1. 使用 Flowith 构建： 选择“Manage Your Knowledge Base”，进入知识库管理页面。 点击左上角的加号添加新的知识库，为其起一个便于分辨的名字。 点击添加文件，建议使用 Markdown 格式的文件。 等待 Flowith 对文件进行抽取等处理，处理完毕后可在知识库管理页面测试检索。 2. 使用 Dify 构建： 准备数据：收集文本数据，进行清洗、分段等预处理。 创建数据集：在 Dify 中创建新数据集，上传准备好的文档并编写描述。 配置索引方式：根据需求选择高质量模式、经济模式或 Q&A 分段模式。 集成至应用：将数据集集成到对话型应用中，配置数据集的使用方式。 持续优化：收集用户反馈，更新知识库内容和优化索引方式。 3. 本地部署大模型并搭建个人知识库（涉及 RAG 技术）： 了解 RAG 技术：大模型训练数据有截止日期，RAG 可通过检索外部数据并在生成步骤中传递给 LLM 来解决依赖新数据的问题。 RAG 应用的 5 个过程： 文档加载：从多种来源加载文档，如 PDF、SQL 等。 文本分割：把文档切分为指定大小的块。 存储：包括将文档块嵌入转换成向量形式，并将向量数据存储到向量数据库。 检索：通过检索算法找到与输入问题相似的嵌入片。 输出：将问题和检索出的嵌入片提交给 LLM 生成答案。 文本加载器：将用户提供的文本加载到内存中以便后续处理。

搭建知识库的方法如下： 使用 flowith 搭建： 选择“Manage Your Knowledge Base”，进入知识库管理页面。 点击左上角的加号添加新的知识库，给知识库起一个便于分辨的名字。 点击添加文件，建议使用 Markdown 格式的文件。 Flowith 会对文件进行抽取等处理，处理完毕后可在知识库管理页面测试检索。 使用 Dify 搭建： 准备数据：收集文本数据，进行清洗、分段等预处理。 创建数据集：在 Dify 中创建新数据集，上传准备好的文档并编写描述。 配置索引方式：提供三种索引方式，根据需求选择，如高质量模式、经济模式和 Q&A 分段模式。 集成至应用：将数据集集成到对话型应用中，配置数据集的使用方式。 持续优化：收集用户反馈，更新知识库内容和优化索引方式。 使用 Coze 智能体搭建： 手动清洗数据： 在线知识库：点击创建知识库，创建 FAQ 知识库，选择飞书文档，输入区分问题和答案，可编辑修改和删除，添加 Bot 并在调试区测试效果。 本地文档：注意拆分内容，提高训练数据准确度，按章节进行人工标注和处理，然后创建自定义清洗数据。 发布应用：点击发布，确保在 Bot 商店中能搜到。

以下是搭建自己知识库的方法： 1. 选择“Manage Your Knowledge Base”，进入知识库管理页面。 2. 在页面左上角点击加号，添加新的知识库，并为其起一个易于分辨的名字。 3. 点击添加文件，建议使用 Markdown 格式的文件。 4. 等待 Flowith 对文件进行抽取等处理。 5. 处理完毕后，可在知识库管理页面测试检索，输入关键词过滤相关内容。 此外，搭建本地知识库还需了解 RAG 技术： 1. RAG 是一种当需要依靠不包含在大模型训练集中的数据时所采用的主要方法，即先检索外部数据，然后在生成步骤中将这些数据传递给 LLM。 2. 一个 RAG 的应用包括文档加载、文本分割、存储、检索和输出 5 个过程。 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 文本分割：把 Documents 切分为指定大小的块。 存储：将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 检索：通过某种检索算法找到与输入问题相似的嵌入片。 输出：把问题以及检索出来的嵌入片一起提交给 LLM，生成更合理的答案。 对于基于 GPT API 搭建定制化知识库，涉及给 GPT 输入定制化的知识。由于 GPT3.5 一次交互支持的 Token 有限，OpenAI 提供了 embedding API 解决方案。Embeddings 是一个浮点数字的向量，两个向量之间的距离衡量它们的关联性，小距离表示高关联度。在 OpenAI 词嵌入中，靠近向量的词语在语义上相似。文档上有创建 embeddings 的示例。

以下是为您提供的关于创建基于个人知识库的 chatbot 的建议： 1. 选择合适的平台和工具：例如可以考虑使用飞书智能伙伴创建平台（Aily）或扣子（https://www.coze.cn/home）等。 2. 数据分段储存：由于大模型的上下文长度有限制，需要将上传的资料根据特定符号或字符长度进行分段，如将 8000 字文档按每 800 字分成一个片段储存。 3. 增强检索：当用户输入问题，大模型会根据相似度检索出若干最相关的数据片段，再据此生成答案，这一技术称为 RAG（检索增强生成）。 4. 配置知识库： 在 Bot 内使用知识库： 登录相关平台。 在左侧导航栏的工作区区域，选择进入指定团队。 在 Bots 页面，选择指定 Bot 并进入 Bot 详情页。 在 Bot 编排页面的知识库区域，单击加号图标，添加指定的知识库。 （可选）添加知识库后，可以在自动调用下拉界面内，调整知识库的配置项，如最大召回数量、最小匹配度、调用方式等。 在工作流内使用 Knowledge 节点： 登录相关平台。 在左侧导航栏的工作区区域，选择进入指定团队。 在页面顶部进入工作流页面，并打开指定的工作流。 在左侧基础节点列表内，选择添加 Knowledge 节点。 5. 注意使用限制：单用户最多创建 1000 个知识库，文本类型知识库下最多支持添加 100 个文档，单用户每月最多新增 2GB 数据，累计上限是 10GB。 此外，知识库可以解决大模型幻觉、专业领域知识不足的问题，提升大模型回复的准确率。您可以将知识库直接与 Bot 进行关联用于响应用户回复，也可以在工作流中添加知识库节点，成为工作流中的一环。

以下是一些 AI 用于知识管理的案例： 1. 在法学领域，当模型培训针对组织内特定的基于文本的知识体系进行微调时，生成式人工智能可以有效地管理组织的知识。例如摩根士丹利正在与 OpenAI 的 GPT3 合作，微调财富管理内容的培训，以便财务顾问既可以搜索公司内部的现有知识，又可以轻松地为客户创建量身定制的内容。 2. 在构建高效的知识管理体系方面，可以通过一系列创新的 AI 应用来实现。比如，AI 可以通过分析工作模式和内容类型，自动生成提示词，帮助将信息和知识分类到 PARA（项目、领域、资源、档案）的相应部分，还能帮设计笔记标签系统。此外，知识助手 Bot 可以根据学习进度和兴趣点，定期推送相关的文章、论文和资源，实现渐进式积累领域知识。 3. 在代码库相关的知识管理中，Cursor 有针对大代码库精准找到相关函数，并利用其信息帮助撰写代码的功能。对于非开发性质的问答，它是一个天然的 RAG 引擎。在问答窗口使用特定操作时，它会先在当前文件夹下搜索并显示相关文档和相关度，最后用这些信息构建提示词完成生成。而且，它能与私有文档自然结合进行问答，并将新生成的见解沉淀成新文档，形成知识闭环，提高知识检索和管理的效率。

以下是飞书+AI的应用案例： 在企业运营方面，包括日常办公文档材料撰写整理、营销对话机器人、市场分析、销售策略咨询，以及法律文书起草、案例分析、法律条文梳理和人力资源简历筛选、预招聘、员工培训等。 在教育领域，协助评估学生学习情况，为职业规划提供建议，针对学生情况以及兴趣定制化学习内容，论文初稿搭建及论文审核，帮助低收入国家/家庭通过 GPT 获得平等的教育资源。 在游戏/媒体行业，有定制化游戏、动态生成 NPC 互动、自定义剧情、开放式结局，出海文案内容生成、语言翻译及辅助广告投放和运营，数字虚拟人直播，游戏平台代码重构，AI 自动生成副本。 在零售/电商领域，包括舆情、投诉、突发事件监测及分析，品牌营销内容撰写及投放，自动化库存管理，自动生成或完成 SKU 类别选择、数量和价格分配，以及客户购物趋势分析及洞察。 在金融/保险行业，有个人金融理财顾问、贷款信息摘要及初始批复、识别并检测欺诈活动风险、客服中心分析及内容洞。 线下活动方面： 活动宣传：用飞书文档制作活动宣传页面，用 AI 快速制作海报，用 GPTs 写人员分配和主持人台词，活动从策划到开始仅用 2 天时间。 活动报名：使用飞书的多维表格完成报名表及数据统计。 活动过程：大家在线协同，一起编辑文档，演示时共同展示一个文档。 活动记录：有相关的记录页面。 办活动的初衷是宣扬 AI 不只是降本增效的工具，还有很多乐趣等待挖掘，例如大理户外圆桌讨论、清迈的 AI 逛古城、杭州的 AI 玄学小组。

以下是 AI 在各个行业的一些应用案例： 汽车行业： 1. 自动驾驶技术：利用 AI 进行图像识别、传感器数据分析和决策制定，如特斯拉、Waymo 和 Cruise 等公司在开发和测试自动驾驶汽车。 2. 车辆安全系统：AI 用于增强自动紧急制动、车道保持辅助和盲点检测等系统，通过分析数据预防事故。 3. 个性化用户体验：根据驾驶员偏好和习惯调整车辆设置，如座椅位置、音乐选择和导航系统。 4. 预测性维护：分析车辆实时数据预测潜在故障和维护需求，减少停机时间和维修成本。 5. 生产自动化：在汽车制造中用于自动化生产线，提高生产效率和质量控制。 6. 销售和市场分析：汽车公司用 AI 分析市场趋势、消费者行为和销售数据，制定营销策略和优化产品定价。 7. 电动化和能源管理：在电动汽车的电池管理和充电策略中发挥作用，提高能源效率和延长电池寿命。 8. 共享出行服务：如 Uber 和 Lyft 等，使用 AI 优化路线规划、调度车辆和定价策略，提高服务效率和用户满意度。 9. 语音助手和车载娱乐：AI 驱动的语音助手允许驾驶员通过语音控制车辆功能、获取信息和娱乐内容。 10. 车辆远程监控和诊断：AI 系统远程监控车辆状态，提供实时诊断和支持。 其他行业： 1. 企业运营：包括日常办公文档材料撰写整理、营销对话机器人、市场分析和销售策略咨询等。 2. 教育：协助评估学生学习情况，为职业规划提供建议，定制化学习内容，论文初稿搭建及审核，帮助低收入国家/家庭获得平等教育资源。 3. 游戏/媒体：定制化游戏、动态生成 NPC 互动、自定义剧情、开放式结局，出海文案生成、语言翻译及辅助广告投放和运营，数字虚拟人直播，游戏平台代码重构，AI 自动生成副本。 4. 零售/电商：舆情、投诉、突发事件监测及分析，品牌营销内容撰写及投放，自动化库存管理，自动生成或完成 SKU 类别选择、数量和价格分配，客户购物趋势分析及洞察。 5. 金融/保险：个人金融理财顾问，贷款信息摘要及初始批复，识别并检测欺诈活动风险，客服中心分析及内容洞察。

以下是一些用 AIGC 生成的单镜头循环视频的案例： OpenAI 的 Sora 视频生成模型：能够生成长达 1 分钟的视频，在时长、稳定性、一致性和运动幅度上表现出色。它可以根据提供的图像和提示生成视频，还能在时间上向前或向后扩展视频以产生无缝的无限循环。此外，能零镜头地改变输入视频的风格和环境，在两个输入视频之间逐渐进行插值创建无缝过渡，也能够生成图像。 Luma 视频生成工具 Dream machine 增加了尾帧生成视频的功能和循环视频生成功能。 智谱 AI 发布的 DiT 视频生成模型“智谱清影”，支持文生和图生视频，目前免费使用，加速生成需要付费。 此外，还有一些其他相关项目： Google 的 Genie 采用 STtransformer 架构，包括潜在动作模型、视频分词器与动力学模型，拥有 110 亿参数。 DeepMind 的 WaveNet 是一种生成模型，可以生成非常逼真的人类语音。 OpenAI 的 MuseNet 是一种生成音乐的 AI 模型，可以在多种风格和乐器之间进行组合。 ElevenLabs 的 Multilingual v2 是一种语音生成模型，支持 28 种语言的语音合成服务。 Stability 发布了 Stable Video 4D 模型，可以从视频中生成更多角度的新视频。 Pixverse 更新了 V2 版本 DiT 视频模型，支持 8 秒时长视频生成、细节和动作增强、支持最多 5 段内容一次性生成，无缝衔接。

以下是知识库中与用 AI 做学术相关的案例和信息： B 站 up 主的课程：每节 15 分钟，免费且内容好，涵盖 AI 艺术字等。 炼丹操作：16 号晚上中老师会带大家动手炼丹，炼丹需提前准备一些图，会让老师提前发布内容让大家准备。 高效 PB 及相关案例：高效 PB 投入力度大，有厉害的伙伴，案例在社区，有多种 battle 方式，会有菩萨老师专门介绍。 初学者入门推荐：推荐看 open AI 的官方 Cookbook，小琪姐做了中文精读翻译，也可查看 cloud 的相关内容。 经典必读文章：如介绍 GPT 运作原理、Transformer 模型、扩散模型等的文章，还包括软件 2.0 时代相关内容。 历史脉络类资料：整理了 open AI 的发展时间线和万字长文回顾等。 6 月 29 日更新：翻译完 a16z 推荐的 AI 典藏文章其中两篇：。

以下是一些 AI+游戏的最新案例： 由 5 人独立游戏工作室 Proxima 开发的 AI 冒险独立游戏 Suck Up!上线三周油管播放超千万。这是一款沙盒社交冒险游戏，团队尝试加入了名为 Nemo 的 AI NPC，基于 LLM 驱动，Nemo 能在接收到用户命令或其他线索后，调动感知、记忆，并转化为可执行的游戏行动。去年上半年，该工作室因获得 160 万美元投资引起轰动，上线后也受到资本关注。玩家对其玩法和模式提出了很多创意想法，如设计成就系统、上线多人模式等。 开发者正在使用 AI 生成音乐来填充游戏过程与游戏 UI 中需要使用到的各类音效、不同游戏场景中用以渲染氛围的各种音乐。像 MusicLM 等模型已经支持生成多音轨的作品。 2023 年 Genfun.ai 和 Meshy 联合制作的游戏《Soul Chronicle》，是首款实时 3D+AIGC+UGC 的 MMO 手游，最大突破是制作出了与游戏完美融合的 3D AIGC 技术，可在游戏中实时生成角色皮肤。 2024 年 Bitmagic 释出的《Roleverse》平台，可在平台内使用提示在游戏内定制角色，对角色进行缩放、挤压和拉伸，也能轻松对游戏世界进行编辑。 AI 技术在游戏行业的应用由来已久，且不断发展。从最初的简单内容和随机元素生成，到辅助游戏设计，再到如今能够生成更复杂的游戏内容，如动态场景、智能 NPC 行为等。AI 对游戏创作的影响包括美术与风格、剧情与叙事、关卡与玩法、音效与音乐、测试与优化等方面。同时，AI 能基于玩家游戏行为评估玩家技能水平和游戏风格，动态调整游戏难度等，提升玩家体验。此外，游戏还能成为 AI 模型能力的最佳试验场。

要在 DeepSeek 中搜索出图片，您可以参考以下信息： 在即梦 AI 平台上找到 DeepSeek 入口，简单描述您想要的画面，DeepSeek 会生成详细的提示词，将提示词复制到生图功能的输入框，选择 3.0 模型，点击生成。 DeepSeek 使用平台包括 DeepSeek 官网、API（V3 需要为 0324 更新的版本，DS 官网及 API 已更新，如调用其它平台 API 需要查看 DS 版本号）。Deepseek 需要复制代码到 html 文件里，然后保存进行查看。 将下载的 html 文件及图片放到同一个文件夹，让 Cursor 进行图片增加即可。 此外，DeepSeek 深夜发布了大一统模型 JanusPro，将图像理解和生成统一在一个模型中。其具有统一 Transformer 架构，提供 1B 和 7B 两种规模，全面开源，支持商用，MIT 协议，部署使用便捷，Benchmark 表现优异等特点。模型地址： 模型（7B）：https://huggingface.co/deepseekai/JanusPro7B 模型（1B）：https://huggingface.co/deepseekai/JanusPro1B 下载地址：https://github.com/deepseekai/Janus

以下是一些推荐的 AI 搜索引擎： 1. 秘塔 AI 搜索：由秘塔科技开发，具有多模式搜索、无广告干扰、结构化展示和信息聚合等功能，能提升用户搜索效率和体验。 2. Perplexity：聊天机器人式搜索引擎，允许用自然语言提问，通过生成式 AI 技术从各种来源收集信息并给出答案。 3. 360AI 搜索：360 公司推出，通过 AI 分析问题，生成清晰有理的答案，支持增强模式和智能排序。 4. 天工 AI 搜索：昆仑万维推出，采用生成式搜索技术，支持自然语言交互和深度追问，未来将支持图像、语音等多模态搜索。 5. Flowith：创新的 AI 交互式搜索和对话工具，基于节点式交互方式，支持多种 AI 模型和图像生成技术，有插件系统和社区功能。 6. Devv：面向程序员的 AI 搜索引擎，专注于提供编程、软件开发和人工智能等领域的专业建议和指导。 7. Phind：专为开发者设计，利用大型语言模型提供相关搜索结果和动态答案，擅长处理编程和技术问题。 做好 AI 搜索引擎的关键在于： 1. 准确度：取决于问答底座模型的智能程度和挂载上下文的信息密度。要选用智能的问答底座模型，并对 RAG 的检索结果进行排序去重以保证信息密度。 2. 差异化创新：错位竞争，如对问答结果以 outline/timeline 等形式输出，支持多模态搜索问答，允许挂载自定义信息源等策略。 3. 具备“准/快/稳”的特点：回复结果要准，响应速度要快，服务稳定性要高。 在使用 AI 搜索引擎时需注意： 1. 幻觉风险较高，大多数 AI 搜索引擎未连接到互联网。 2. 必应通常是较好的选择，特别是在某些特定场景下，如技术支持、决定吃饭地点或获取建议等，必应可能比谷歌更好。但这是一个迅速发展的领域，使用时应小心。对于儿童，可汗学院的 Khanmigo 提供由 GPT4 驱动的良好的人工智能驱动辅导。

以下是为您提供的关于 AI 相关产品规划的回答： 一、插件/工具能力在大模型生态架构中的环节、定位、实现流程 从 2023 年 3 月份 OpenAI 宣布插件计划开始，到 5 月份上线，其中包括联网、代码、画图三个插件。其实现流程大致为： 1. 经过对模型的微调，检测何时需要调用函数（取决于用户的输入）。 2. 使用符合函数签名的 JSON 进行响应。 3. 在接口层面声明可调用的工具。 4. 使用函数和用户输入调用模型。 5. 使用模型响应调用 API。 6. 将响应发送回模型进行汇总。 二、对于搜索团队，插件可以做和应该做的事 目前没有直接针对搜索团队插件具体可做和应做事项的明确内容，但可以参考 OpenAI 的插件计划，例如开发与搜索相关的特定功能插件，或者探索如何将现有的搜索推荐功能与大模型更好地结合。 三、对于大模型无法绕开或高频使用的模块/功能/插件 目前没有直接指出对于大模型无法绕开或高频使用的具体模块、功能或插件。但从相关信息中可以推测，例如与数据获取和处理相关的插件（如联网）、与技术开发相关的插件（如代码）以及与内容生成相关的插件（如画图）可能是较为重要和高频使用的。对于搜索团队来说，可以考虑在这些方向上寻找发力点，结合搜索推荐等传统功能，开发出更具竞争力的插件。

以下是为您整理的关于 MCP 的相关内容： 一、什么是 MCP MCP（Model Context Protocol）是一种通用的方式，向各类大语言模型提供数据源和工具。它是一个开放协议，用于标准化应用程序向大语言模型提供上下文的方式。可以将 MCP 想象成 AI 应用程序的 USBC 接口，为 AI 模型连接不同的数据源和工具提供了标准化方式。 二、相关文章的写作目的和探讨内容 1. 作者因在 WaytoAGI 社区阅读了他人优秀文章，决定逼自己做输出，对自我学习进行总结。 2. 文章从作者自身疑问出发，通过动手实践的方式探索：利用自然语言交互，大模型为什么会调用 MCP 工具；大模型调用 MCP 工具，从客户端到服务端发生了什么；安装了类似 MCP 工具，大模型如何选择用哪一个。 三、MCP 和 AI 工具的未来 自 OpenAI 发布函数调用以来，思考解锁智能体和工具使用生态系统所需条件。MCP 于 2024 年 11 月推出，在开发者和 AI 社区中已获广泛关注，被视为潜在解决方案。探讨了其如何改变 AI 与工具的交互方式、开发人员的使用情况及仍需解决的挑战。 四、MCP 小白图文使用教程 MCP 服务器有三大核心功能： 1. 资源：是服务器提供给 AI 的数据内容，如文件、数据库结构或特定信息，每个资源通过唯一 URI 标识。 2. 工具：允许 AI 模型执行特定操作，如查询数据库、调用 API 或执行计算，每个工具由名称和描述其模式的元数据唯一标识。 3. 提示：提供结构化消息和指令，用于与语言模型交互，客户端可以发现可用提示、检索其内容并提供参数进行自定义。 希望以上内容对您有所帮助。

以下是关于知识库搜索的相关信息： 知识库搜索网址：https://search.atomecho.cn/ Coze 中工作流配置知识库： 添加知识库：可同时添加多个知识库。 参数设置： 搜索策略：包括语义检索（像人类一样理解词与词、句与句之间的关系，适用于需要理解语义关联度和跨语言查询的场景）、全文检索（基于关键词进行，适用于特定名称、专有名词、术语、缩写词、ID 等场景）、混合检索（结合全文检索和语义检索的优势，并对结果进行综合排序召回相关内容片段）。 最大召回数量：选择从检索结果中返回给大模型使用的内容片段数量，数值越大，返回的越多。 最小匹配度：根据设置的匹配度选取要返回给大模型的内容片段，低于设定匹配度的内容不会被返回。 提示：最大召回数量和最小匹配度直接影响输出效果，需进行协调的多轮测试找出最优值。 认识大模型 Embedding 技术加实战中： Embedding 增强 GPT 的能力的过程包括搜索内部知识库检索相关文本、将检索到的文本内容部分发送给 GPT 大模型并向其提出问题。 具体操作步骤： 准备搜索数据（仅一次）：搜集数据、切块、嵌入、存储（对于大型数据集的 Embedding 结果，可使用向量数据库保存）。 搜索（每次查询一次）：给定用户问题，从 OpenAI API 生成查询的 embeddings，使用 embeddings 按照与查询相关性对文本部分进行排序，距离函数推荐使用余弦相似性。 提问（每次查询一次）：将问题和最相关的部分插入到发送给 GPT 的消息中返回 GPT 的答案。 Embedding 的作用：搜索（结果按与查询字符串的相关性进行排名）、聚类（文本字符串按相似性分组）、建议（建议包含相关文本字符串的项目）、异常检测（识别出相关性很小的离群值）、多样性测量（分析相似性分布）、分类（文本字符串按其最相似的标签分类）。