搭建知识问答

以下是创建一个对话问答形式的课程智能体的相关内容： 一、创建智能体 1. 知识库 手动清洗数据：本次创建知识库使用手动清洗数据，上节课程是自动清洗数据，自动清洗数据可能会出现数据不准的情况。 在线知识库：点击创建知识库，创建一个画小二课程的 FAQ 知识库。飞书在线文档中每个问题和答案以分割，选择飞书文档、自定义的自定义，输入后可编辑修改和删除，添加 Bot 后可在调试区测试效果。 本地文档：本地 word 文件，注意拆分内容以提高训练数据准确度。画小二 80 节课程分为 11 个章节，不能一股脑全部放进去训练，应先将 11 章的大章节名称内容放进来，章节内详细内容按固定方式人工标注和处理，然后选择创建知识库自定义清洗数据。 2. 发布应用：点击发布，确保在 Bot 商店中能够搜到，否则获取不到 API。 二、智谱 BigModel 共学营活动分享 活动内容包括使用 BigModel 搭建智能体并接入微信机器人，过程为将调试好的智能体机器人拉入微信群，由老师提问，机器人回答，挑选出色回答整理成问卷，群成员投票，根据得票数确定奖项。一等奖得主分享了对活动的理解和实践，包括从题出发的分析，认为考验机器人对问题的理解和回答准确性，真实对话场景一般为完整句子回复，根据回答真实性和有趣程度评分，可使用弱智吧问题测试提示词生成效果。 三、名字写对联教学——优秀创作者奖，百宝箱智能体 1. 智能体类型的选择：建议选择工作流的对话模式，支持工作流编排和携带历史对话记录，创建后切换为对话模式，注意在调整工作流节点前切换，否则会清空重置。 2. 确认分支情况：根据需求分析有两个特定分支（根据名字和祝福写对联、根据幸运数字写对联）和一个默认分支。 3. 用户意图识别：通过理解用户意图走不同分支，注意将意图介绍写清楚准确。 4. 幸运数字分支：用代码分支获取用户输入数字，匹配知识库并做赏析，代码中有容错机制。 5. 名字写祝福：根据用户输入的名字和祝福信息，提示词生成对应对联并输出，主要是提示词调试。 6. 通用兜底回复：在用户不符合前两个意图时进行友好回复，匹配知识库，结合匹配结果、历史记录和当前输入输出符合对话内容的回复。 7. 知识库：使用大模型生成 100 对对联，好看、经典、有意义。

以下是关于专门解决 AI 需求的问答的相关内容： 关于我是谁： 我是 WaytoAGI 专属问答机器人，基于 Aily 和云雀大模型。Aily 是飞书团队旗下的企业级 AI 应用开发平台，提供简单、安全且高效的环境，帮助企业构建和发布 AI 应用。云雀是字节跳动研发的语言模型，能通过自然语言交互完成互动对话、信息获取、协助创作等任务。 使用方法： 1. 在 WaytoAGI 飞书知识库首页找到加入飞书群的链接（最新二维码在知识库首页），加入后直接@机器人。 2. 在 WaytoAGI.com 的网站首页直接输入问题即可得到回答。 做问答机器人的原因： 1. 知识库内容庞大，新用户难以快速找到所需内容。 2. 传统搜索基于关键词及相关性，无法准确理解语义。 3. 需要用更先进的 RAG 技术解决。 4. 在群中提供快速检索信息的便捷方式。 AI 商用级问答场景中让回答更准确： 要优化幻觉问题和提高准确性，需了解从“问题输入”到“得到回复”的过程，针对每个环节逐个调优。RAG（检索增强生成）由检索器和生成器组成，检索器从外部知识中找到相关信息，生成器利用这些信息制作精确连贯的答案，通过检索模式为大语言模型生成提供更多信息，使答案更符合要求。 向量：可把向量想象成空间中的点位，每个词或短语对应一个点，系统通过比较点的距离快速找到语义接近的词语或信息。 Agentic AI 中的问答： 对于最简单的常识性问答，可在 CursorChat 中输入问题得到答案，其相对细节的优势是可在同一界面调用 OpenAI、Anthropic 及本机私有 AI 进行问答。此外，Cursor 作为编辑器，可方便收集沉淀问答结果为复用文档，在进行文本相关任务时还有奇妙用法，如翻译中文博客。

以下是关于数据问答最佳实践的相关内容： Databricks： Databricks 作为大数据领域的领先服务商，在 RAG 设计上有自身特点和优势。用户输入问题后，从处理好的文本向量索引获取相关信息，结合提示词工程生成回答。上半部分 Unstructured Data pipeline 采用主流 RAG 方法，下半部分 Structured Data Pipeline 是其特征工程处理流程，也是最大特点。Databricks 从专业大数据角度出发，在准确度较高的数据存储中进行额外检索，发挥在 Real Time Data Serving 上的优势。可见其在 GenAI 时代将强大的 Lakehouse 数据处理能力与生成式 AI 技术深度融合，构建一体化解决方案。 OpenAI： 从 OpenAI Demo day 的演讲整理所得，在提升 RAG 准确率的成功案例中，OpenAI 团队从 45%的准确率开始，尝试多种方法。包括假设性文档嵌入（HyDE）和精调嵌入等，但效果不理想。通过尝试不同大小块的信息和嵌入不同内容部分，准确率提升到 65%。通过 Reranking 和对不同类别问题特别处理，进一步提升到 85%。最终，结合提示工程、查询扩展等方法，达到 98%的准确率。团队强调模型精调和 RAG 结合使用的强大潜力，仅通过简单的模型精调和提示工程就接近行业领先水平。 Loop： 具有环状结构的 RAG Flow 是 Modular RAG 的重要特点，检索和推理步骤相互影响，通常包括一个 Judge 模块控制流程，具体可分为迭代、递归和主动检索三种。 迭代检索：对于一些需要大量知识的复杂问题，可采用迭代方式进行 RAG，如 ITERRETGEN。每次迭代利用前一次迭代的模型输出作为特定上下文帮助检索更相关知识，通过预设迭代次数判断终止。 递归检索：特点是明显依赖上一步并不断深入检索，通常有判断机制作为出口，需搭配 Query Transformation，每次检索依赖新改写的 Query。典型实现如 ToC，从初始问题通过递归执行 RAC 逐步插入子节点到澄清树中，达到最大数量有效节点或最大深度时结束，然后收集所有有效节点生成全面长文本答案回答初始问题。

搭建一个知识库智能问答机器人通常包括以下流程： 1. 基于 RAG 机制： RAG 机制全称为“检索增强生成”，是一种结合检索和生成的自然语言处理技术。它先从大型数据集中检索与问题相关的信息，再利用这些信息生成回答。 要实现知识库问答功能，需创建包含大量文章和资料的知识库，例如有关 AI 启蒙和信息来源的知识库，并通过手工录入方式上传文章内容。 2. 利用 Coze 搭建： 收集知识：确认知识库支持的数据类型，通过企业或个人沉淀的 Word、PDF 等文档、云文档（通过链接访问）、互联网公开内容（可安装 Coze 提供的插件采集）等方式收集。 创建知识库。 创建数据库用以存储每次的问答。 创建工作流： 思考整个流程，包括用户输入问题、大模型通过知识库搜索答案、大模型根据知识库内容生成答案、数据库存储用户问题和答案、将答案展示给用户。 Start 节点：每个工作流默认都有的节点，是工作流的开始，可定义输入变量，如 question，由 Bot 从外部获取信息传递过来。 知识库节点：输入为用户的查询 Query，输出为从知识库中查询出来的匹配片段。注意查询策略，如混合查询、语义查询、全文索引等概念。 变量节点：具有设置变量给 Bot 和从 Bot 中获取变量的能力。 编写 Bot 的提示词。 预览调试与发布。 海外官方文档：https://www.coze.com/docs/zh_cn/knowledge.html 国内官方文档：https://www.coze.cn/docs/guides/use_knowledge

以下是一些好用的搭建知识库然后进行问答的 AI 工具： 1. DIN： 搭建 OneAPI，用于汇聚整合多种大模型接口。 搭建 FastGpt，这是一个知识库问答系统，可放入知识文件，并接入大模型作为分析知识库的大脑，它有问答界面。 搭建 chatgptonwechat，将知识库问答系统接入微信，但建议先用小号以防封禁风险。 2. Coze： 知识库问答是其最基础的功能，利用了大模型的 RAG 机制（检索增强生成）。 RAG 机制先从大型数据集中检索与问题相关的信息，再利用这些信息生成回答。 实现知识库问答功能需创建包含大量 AI 相关文章和资料的知识库，通过手工录入上传内容。 在设计 Bot 时添加知识库，并设置合适的搜索策略、最大召回数量和最小匹配度，以更好地结合知识库返回的内容进行回答。

以下是一些好用的搭建知识库然后进行问答的 AI 工具： 1. DIN： 搭建步骤： 搭建 OneAPI（https://github.com/songquanpeng/oneapi），用于汇聚整合多种大模型接口。 搭建 FastGpt（https://fastgpt.in/），这是一个知识库问答系统，将知识文件放入，并接入大模型作为分析知识库的大脑，它有问答界面。 搭建 chatgptonwechat（https://github.com/zhayujie/chatgptonwechat），接入微信，配置 FastGpt 把知识库问答系统接入到微信，建议先用小号以防封禁风险。 2. Coze： 知识库问答利用了大模型的 RAG 机制，全称为“检索增强生成”（RetrievalAugmented Generation）。 RAG 机制先从大型数据集中检索与问题相关的信息，再使用这些信息生成回答。 实现知识库问答功能，需创建包含大量 AI 相关文章和资料的知识库，通过手工录入上传文章内容。在设计 Bot 时，添加知识库，并设置合适的搜索策略、最大召回数量和最小匹配度，以结合知识库返回的内容进行回答。

以下是关于在 Coze 中搭建智能体的相关信息： 1. 证件照相关操作： 展示原图上传结果，基本脸型已换，生成效果与上传照片特征有关。 改背景可利用改图功能，一键改图效果更好，输出数据类型为图片。 豆包节点生成的是 URL 地址，与前者不同，在工作流使用有差异，可参考简单提示词。 介绍证件照工作流相关操作，包括通过提示词改背景颜色，设置输出方式为返回变量；讲解消耗 token 及保存结果相关问题；对按钮、表单添加事件并设置参数，限制上传文件数量；还涉及给表单和图片绑定数据，以及每次操作后刷新界面确保设置生效。 围绕操作讲解与优化展开，介绍 for meet 的设置，如表单事件操作、图片上传数量修改等，提及编程基础知识。还讲述成果图连接、绑定数据方法及注意事项。展示基本功能实现情况，分析换性别等问题成因，指出需在工作流优化提示词，也可尝试用视频模型解决，最后进入问答环节。 2. 多维表格的高速数据分析： 创建智能体，使用单 Agent 对话流模式。 编排对话流，创建新的对话流并关联智能体。 使用代码节点对两个插件获取的结果进行数据处理，注意代码节点输出的配置格式。 测试，找到一篇小红书笔记，试运行对话流，在对话窗口输入地址查看数据。 发布，选择多维表格，配置输出类型为文本，输入类型选择字段选择器，完善上架信息，可选择仅自己可用以加快审核。 3. 智能体与微信和微信群的连接： 创建知识库，可选择手动清洗数据提高准确性，包括在线知识库和本地文档。 在线知识库创建时，飞书在线文档中每个问题和答案以分割，可编辑修改和删除。 本地文档中注意拆分内容提高训练数据准确度，如将课程章节按固定方式人工标注和处理。 发布应用，确保在 Bot 商店中能够搜到。

以下是关于 Coze 搭建知识库和上传文件的对比分析： 创建文本型知识库： 自动分段与清洗：扣子可对上传的内容进行自动解析，支持复杂布局的文件处理，如识别段落、页眉/页脚/脚注等非重点内容，支持跨页跨栏的段落合并，支持解析表格中的图片和文档中的表格内容（目前仅支持带线框的表格）。操作步骤为在分段设置页面选择自动分段与清洗，然后依次单击下一步、确认，可查看分段效果，不满意可重新分段并使用自定义分段。 自定义：支持自定义分段规则、分段长度及预处理规则。操作时在分段设置页面选择自定义，然后依次设置分段规则和预处理规则，包括选择分段标识符、设置分段最大长度和文本预处理规则，最后单击下一步完成内容分段。 创建表格型知识库： 目前支持 4 种导入类型：本地文档、API、飞书、自定义。 本地文档：选择本地文档从本地文件中导入表格数据，目前支持上传 Excel 和 CSV 格式的文件，文件不得大于 20M，一次最多可上传 10 个文件，且表格内需要有列名和对应的数据。 API：参考特定操作从 API 返回数据中上传表格内容，包括选择 API、单击新增 API、输入 API URL 并选择数据更新频率，然后单击下一步。 飞书：参考特定操作从飞书表格中导入内容，包括选择飞书、在新增知识库页面单击授权并选择要导入数据的飞书账号、单击安装扣子应用（仅首次导入需授权和安装），然后选择要导入的表格并单击下一步。目前仅支持导入“我的空间”下的飞书文档，云文档的创建者必须是自己，暂不支持导入知识库和共享空间下的云文档。 上传文本内容： 在线数据：扣子支持自动抓取指定 URL 的内容，也支持手动采集指定页面上的内容，上传到数据库。 自动采集方式：适用于内容量大、需批量快速导入的场景。操作步骤为在文本格式页签下选择在线数据，然后依次单击下一步、自动采集、新增 URL，输入网站地址、选择是否定期同步及周期，最后单击确认，上传完成后单击下一步，系统会自动分片。 手动采集：适用于精准采集网页指定内容的场景。操作步骤为安装扩展程序，在文本格式页签下选择在线数据，然后依次单击下一步、手动采集、授予权限，输入采集内容的网址，标注提取内容，查看数据确认无误后完成并采集。

搭建知识库的方法如下： 使用 flowith 搭建： 选择“Manage Your Knowledge Base”，进入知识库管理页面。 点击左上角的加号添加新的知识库，给知识库起一个便于分辨的名字。 点击添加文件，建议使用 Markdown 格式的文件。 Flowith 会对文件进行抽取等处理，处理完毕后可在知识库管理页面测试检索。 使用 Dify 搭建： 准备数据：收集文本数据，进行清洗、分段等预处理。 创建数据集：在 Dify 中创建新数据集，上传准备好的文档并编写描述。 配置索引方式：提供三种索引方式，根据需求选择，如高质量模式、经济模式和 Q&A 分段模式。 集成至应用：将数据集集成到对话型应用中，配置数据集的使用方式。 持续优化：收集用户反馈，更新知识库内容和优化索引方式。 使用 Coze 智能体搭建： 手动清洗数据： 在线知识库：点击创建知识库，创建 FAQ 知识库，选择飞书文档，输入区分问题和答案，可编辑修改和删除，添加 Bot 并在调试区测试效果。 本地文档：注意拆分内容，提高训练数据准确度，按章节进行人工标注和处理，然后创建自定义清洗数据。 发布应用：点击发布，确保在 Bot 商店中能搜到。

以下是将模型的输出存入到多维表中的步骤： 1. 逐步搭建 AI 智能体： 搭建整理入库工作流。 设置大模型节点提取稍后读元数据，使用 MiniMax 6.5s 245k，设置最大回复长度至 50000，以确保能完整解析长内容网页。 进行日期转时间戳，后续的飞书多维表格插件节点在入库日期字段时只支持 13 位时间戳，需要使用「日期转时间戳time_stamp_13」插件进行格式转化。 把稍后读元数据转换为飞书多维表格插件可用的格式，飞书多维表格插件目前（2024 年 08 月）只支持带有转义符的 string，以 Array<Object>格式输入，所以必须将之前得到的元数据数组进行格式转换。 添加「飞书多维表格add_records」插件，只需要设置{{app_token}}与{{records}}参数，将元数据写入飞书表格。 2. 搭建 Coze 工作流： 打开 Coze 的主页，登录后，在【工作空间】创建一个智能体。 在编排页面，给智能体编辑好人设，可先写一个简单的，然后点右上角自动优化，系统会自动补全更精细的描述。点击工作流的+，创建一个工作流。 大模型节点把 input 给到 DeepSeek，让 DeepSeek 按照提前规定的输出框架生成对应文案。 生图节点将输出给到图像生成组件画图。 结束输出时，两个输出给到最终的 end 作为最终的输出。注意在编写系统提示词时，如果需要 input 可被 DeepSeek 调用，需要用{{input}}作为参数引入，不然大模型不知道自己需要生成和这个 input 相关的结果。编排完，点击【试运行】，调试至满意后点击发布。

以下是搭建自己知识库的方法： 1. 选择“Manage Your Knowledge Base”，进入知识库管理页面。 2. 在页面左上角点击加号，添加新的知识库，并为其起一个易于分辨的名字。 3. 点击添加文件，建议使用 Markdown 格式的文件。 4. 等待 Flowith 对文件进行抽取等处理。 5. 处理完毕后，可在知识库管理页面测试检索，输入关键词过滤相关内容。 此外，搭建本地知识库还需了解 RAG 技术： 1. RAG 是一种当需要依靠不包含在大模型训练集中的数据时所采用的主要方法，即先检索外部数据，然后在生成步骤中将这些数据传递给 LLM。 2. 一个 RAG 的应用包括文档加载、文本分割、存储、检索和输出 5 个过程。 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 文本分割：把 Documents 切分为指定大小的块。 存储：将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 检索：通过某种检索算法找到与输入问题相似的嵌入片。 输出：把问题以及检索出来的嵌入片一起提交给 LLM，生成更合理的答案。 对于基于 GPT API 搭建定制化知识库，涉及给 GPT 输入定制化的知识。由于 GPT3.5 一次交互支持的 Token 有限，OpenAI 提供了 embedding API 解决方案。Embeddings 是一个浮点数字的向量，两个向量之间的距离衡量它们的关联性，小距离表示高关联度。在 OpenAI 词嵌入中，靠近向量的词语在语义上相似。文档上有创建 embeddings 的示例。

以下是关于搭建在线知识库和在线客服的相关内容： RAG 流程： 自顶向下，RAG 的流程分为离线数据处理和在线检索两个过程。 离线数据处理的目的是构建知识库，知识会按照某种格式及排列方式存储在其中等待使用。 在线检索是利用知识库和大模型进行查询的过程。 以构建智能问答客服为例，了解 RAG 流程中的“是什么”与“为什么”同等重要。 创建智能体： 手动清洗数据创建知识库： 点击创建知识库，创建画小二课程的 FAQ 知识库。 知识库的飞书在线文档中，每个问题和答案以“”分割。 选择飞书文档、自定义，输入“”，可编辑修改和删除。 点击添加 Bot，可在调试区测试效果。 本地文档： 注意拆分内容以提高训练数据准确度。 以画小二课程为例，先放入大章节名称内容，再按固定方式细化处理每个章节。 发布应用：点击发布，确保在 Bot 商店中能搜到。 开发：GLM 等大模型外接数据库： 项目启动：包括 web 启动（运行 web.py，显存不足调整模型参数，修改连接）、API 模式启动、命令行模式启动。 上传知识库：在左侧知识库问答中选择新建知识库，可传输 txt、pdf 等。可以调整 prompt，匹配不同的知识库，让 LLM 扮演不同的角色，如上传公司财报充当财务分析师、上传客服聊天记录充当智能客服等。MOSS 同理。

知识图谱是一种揭示实体之间关系的语义网络，可以对现实世界的事物及其相互关系进行形式化地描述。它于 2012 年 5 月 17 日由 Google 正式提出，初衷是提高搜索引擎的能力，增强用户的搜索质量和体验，实现从网页链接到概念链接的转变，支持按主题检索和语义检索。 知识图谱的关键技术包括： 1. 知识抽取： 实体抽取：通过命名实体识别从数据源中自动识别命名实体。 关系抽取：从数据源中提取实体之间的关联关系，形成网状知识结构。 属性抽取：从数据源中采集特定实体的属性信息。 2. 知识表示：包括属性图和三元组。 3. 知识融合： 实体对齐：消除异构数据中的实体冲突、指向不明等不一致性问题。 知识加工：对知识统一管理，形成大规模的知识体系。 本体构建：以形式化方式明确定义概念之间的联系。 质量评估：计算知识的置信度，提高知识质量。 知识更新：不断迭代更新，扩展现有知识，增加新知识。 4. 知识推理：在已有的知识库基础上挖掘隐含的知识。 在国家人工智能产业综合标准化体系建设指南中，知识图谱标准规范了知识图谱的描述、构建、运维、共享、管理和应用，包括知识表示与建模、知识获取与存储、知识融合与可视化、知识计算与管理、知识图谱质量评价与互联互通、知识图谱交付与应用、知识图谱系统架构与性能要求等标准。

构建知识库的方法主要有以下几种： 1. 使用 Flowith 构建： 选择“Manage Your Knowledge Base”，进入知识库管理页面。 点击左上角的加号添加新的知识库，为其起一个便于分辨的名字。 点击添加文件，建议使用 Markdown 格式的文件。 等待 Flowith 对文件进行抽取等处理，处理完毕后可在知识库管理页面测试检索。 2. 使用 Dify 构建： 准备数据：收集文本数据，进行清洗、分段等预处理。 创建数据集：在 Dify 中创建新数据集，上传准备好的文档并编写描述。 配置索引方式：根据需求选择高质量模式、经济模式或 Q&A 分段模式。 集成至应用：将数据集集成到对话型应用中，配置数据集的使用方式。 持续优化：收集用户反馈，更新知识库内容和优化索引方式。 3. 本地部署大模型并搭建个人知识库（涉及 RAG 技术）： 了解 RAG 技术：大模型训练数据有截止日期，RAG 可通过检索外部数据并在生成步骤中传递给 LLM 来解决依赖新数据的问题。 RAG 应用的 5 个过程： 文档加载：从多种来源加载文档，如 PDF、SQL 等。 文本分割：把文档切分为指定大小的块。 存储：包括将文档块嵌入转换成向量形式，并将向量数据存储到向量数据库。 检索：通过检索算法找到与输入问题相似的嵌入片。 输出：将问题和检索出的嵌入片提交给 LLM 生成答案。 文本加载器：将用户提供的文本加载到内存中以便后续处理。