Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

RAG和知识图谱的结合，需要如何实现

Answer

要实现 RAG 和知识图谱的结合，可以参考以下步骤：

  1. 数据加载：根据数据源的类型选择合适的数据加载器，如对于网页数据源，可使用 WebBaseLoader 利用 urllib 和 BeautifulSoup 加载和解析网页，获取文档对象。
  2. 文本分割：依据文本特点选用合适的文本分割器，将文档对象分割成较小的文档对象。例如，对于博客文章，可使用 RecursiveCharacterTextSplitter 递归地用常见分隔符分割文本，直至每个文档对象大小符合要求。
  3. 嵌入与存储：根据嵌入质量和速度选择合适的文本嵌入器和向量存储器，将文档对象转换为嵌入并存储。比如，可使用 OpenAI 的嵌入模型和 Chroma 的向量存储器，即 OpenAIEmbeddings 和 ChromaVectorStore。
  4. 创建检索器：使用向量存储器检索器，传递向量存储器对象和文本嵌入器对象作为参数，创建用于根据用户输入检索相关文档对象的检索器。
  5. 创建聊天模型：根据模型性能和成本选择合适的聊天模型，如使用 OpenAI 的 GPT-3 模型，即 OpenAIChatModel，根据用户输入和检索到的文档对象生成输出消息。

此外，通用语言模型通过微调能完成常见任务，而对于更复杂和知识密集型任务，可基于语言模型构建系统并访问外部知识源。Meta AI 研究人员引入的 RAG 方法把信息检索组件和文本生成模型结合，能接受输入并检索相关文档，组合上下文和原始提示词送给文本生成器得到输出，适应事实变化，无需重新训练模型就能获取最新信息并产生可靠输出。Lewis 等人（2021）提出通用的 RAG 微调方法，使用预训练的 seq2seq 作为参数记忆，用维基百科的密集向量索引作为非参数记忆。

Content generated by AI large model, please carefully verify (powered by aily)

References

开发：LangChain应用开发指南-大模型的知识外挂RAG

首先，我们需要加载我们的数据。我们可以使用数据加载器来实现这一步，根据数据源的类型选择合适的数据加载器。例如，如果我们的数据源是一个网页，我们可以使用WebBaseLoader，它可以使用urllib和BeautifulSoup()来加载和解析网页，返回一个文档对象。然后，我们需要将我们的文档对象分割成较小的文档对象。我们可以使用文本分割器来实现这一步，根据文本的特点选择合适的文本分割器。例如，如果我们的文本是一个博客文章，我们可以使用RecursiveCharacterTextSplitter，它可以递归地使用常见的分隔符（如换行符）来分割文本，直到每个文档对象的大小符合要求。接下来，我们需要将我们的文档对象转换为嵌入，并存储到向量存储器中。我们可以使用文本嵌入器和向量存储器来实现这一步，根据嵌入的质量和速度选择合适的文本嵌入器和向量存储器。例如，如果我们想要使用OpenAI的嵌入模型和Chroma的向量存储器，我们可以使用OpenAIEmbeddings()和ChromaVectorStore。然后，我们需要创建一个检索器，用于根据用户的输入检索相关的文档对象。我们可以使用向量存储器检索器来实现这一步，-传递一个向量存储器对象和一个文本嵌入器对象作为参数，创建一个向量存储器检索器对象。最后，我们需要创建一个聊天模型，用于根据用户的输入和检索到的文档对象生成一个输出消息。我们可以使用LangChain提供的聊天模型来实现这一步，根据模型的性能和成本选择合适的聊天模型。例如，如果我们想要使用OpenAI的GPT-3模型，我们可以使用OpenAIChatModel。下面是一个使用LangChain构建RAG应用的示例代码：

开发：LangChain应用开发指南-大模型的知识外挂RAG

首先，我们需要加载我们的数据。我们可以使用数据加载器来实现这一步，根据数据源的类型选择合适的数据加载器。例如，如果我们的数据源是一个网页，我们可以使用WebBaseLoader，它可以使用urllib和BeautifulSoup来加载和解析网页，返回一个文档对象。然后，我们需要将我们的文档对象分割成较小的文档对象。我们可以使用文本分割器来实现这一步，根据文本的特点选择合适的文本分割器。例如，如果我们的文本是一个博客文章，我们可以使用RecursiveCharacterTextSplitter，它可以递归地使用常见的分隔符（如换行符）来分割文本，直到每个文档对象的大小符合要求。接下来，我们需要将我们的文档对象转换为嵌入，并存储到向量存储器中。我们可以使用文本嵌入器和向量存储器来实现这一步，根据嵌入的质量和速度选择合适的文本嵌入器和向量存储器。例如，如果我们想要使用OpenAI的嵌入模型和Chroma的向量存储器，我们可以使用OpenAIEmbeddings和ChromaVectorStore。然后，我们需要创建一个检索器，用于根据用户的输入检索相关的文档对象。我们可以使用向量存储器检索器来实现这一步，-传递一个向量存储器对象和一个文本嵌入器对象作为参数，创建一个向量存储器检索器对象。最后，我们需要创建一个聊天模型，用于根据用户的输入和检索到的文档对象生成一个输出消息。我们可以使用LangChain提供的聊天模型来实现这一步，根据模型的性能和成本选择合适的聊天模型。例如，如果我们想要使用OpenAI的GPT-3模型，我们可以使用OpenAIChatModel。下面是一个使用LangChain构建RAG应用的示例代码：

检索增强生成 (RAG)

通用语言模型通过微调就可以完成几类常见任务，比如分析情绪和识别命名实体。这些任务不需要额外的背景知识就可以完成。要完成更复杂和知识密集型的任务，可以基于语言模型构建一个系统，访问外部知识源来做到。这样的实现与事实更加一性，生成的答案更可靠，还有助于缓解“幻觉”问题。Meta AI的研究人员引入了一种叫做[检索增强生成（Retrieval Augmented Generation，RAG）(opens in a new tab)](https://ai.facebook.com/blog/retrieval-augmented-generation-streamlining-the-creation-of-intelligent-natural-language-processing-models/)的方法来完成这类知识密集型的任务。RAG把一个信息检索组件和文本生成模型结合在一起。RAG可以微调，其内部知识的修改方式很高效，不需要对整个模型进行重新训练。RAG会接受输入并检索出一组相关/支撑的文档，并给出文档的来源（例如维基百科）。这些文档作为上下文和输入的原始提示词组合，送给文本生成器得到最终的输出。这样RAG更加适应事实会随时间变化的情况。这非常有用，因为LLM的参数化知识是静态的。RAG让语言模型不用重新训练就能够获取最新的信息，基于检索生成产生可靠的输出。Lewis等人（2021）提出一个通用的RAG微调方法。这种方法使用预训练的seq2seq作为参数记忆，用维基百科的密集向量索引作为非参数记忆（使通过神经网络预训练的检索器访问）。这种方法工作原理概况如下：图片援引自:[Lewis et el.(2021)(opens in a new tab)](https://arxiv.org/pdf/2005.11401.pdf)

Others are asking
rag
RAG（RetrievalAugmented Generation，检索增强生成）是一种结合检索和生成能力的自然语言处理架构。 通用语言模型通过微调可完成常见任务，而更复杂和知识密集型任务可基于语言模型构建系统，访问外部知识源来完成，如 Meta AI 引入的 RAG 方法。RAG 把信息检索组件和文本生成模型结合，可微调，内部知识修改高效，无需重新训练整个模型。它会接受输入并检索相关支撑文档，给出来源，与原始提示词组合后送给文本生成器得到输出，能适应事实变化，让语言模型获取最新信息并生成可靠输出。 大语言模型（LLM）存在一些缺点，如无法记住所有知识尤其是长尾知识、知识易过时且不好更新、输出难以解释和验证、易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有诸多优点，如数据库存储和更新稳定且无学习风险、数据更新敏捷且不影响原有知识、降低大模型输出出错可能、便于管控用户隐私数据、降低大模型训练成本。 在 RAG 系统开发中存在 12 个主要难题，并已有相应的解决策略。
2025-04-15
rag介绍
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点： 1. LLM 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. LLM 的知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. LLM 的输出难以解释和验证，存在内容黑盒、不可控以及受幻觉等问题干扰的情况。 4. LLM 容易泄露隐私训练数据。 5. LLM 的规模大，训练和运行成本高。 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器，包括 PDF 在内的非结构化数据、SQL 在内的结构化数据，以及 Python、Java 之类的代码等。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储：涉及将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2025-04-14
什么是RAG
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型存在一些缺点，如无法记住所有知识（尤其是长尾知识）、知识容易过时且不好更新、输出难以解释和验证、容易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，增删改查可解释，且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型本身的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档。 2. 文本分割：把 Documents 切分为指定大小的块。 3. 存储：包括将切分好的文档块进行嵌入转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2025-04-14
RAG对话 摘要总结 功能实现
LangChain 和 RAG 的结合具有以下优势： 1. 灵活性：可根据需求和数据源选择不同组件和参数定制 RAG 应用，也能使用自定义组件（需遵循接口规范）。 2. 可扩展性：能利用 LangChain 的云服务部署和运行，无需担忧资源和性能限制，还可借助分布式计算功能加速应用，发挥多个节点并行处理能力。 3. 可视化：通过 LangSmith 可视化工作流程，查看各步骤输入输出及组件性能状态，用于调试和优化，发现并解决潜在问题和瓶颈。 其应用场景多样，包括： 1. 专业问答：构建医疗、法律、金融等专业领域的问答应用，从专业数据源检索信息辅助大模型回答问题，如从医学文献中检索疾病诊治方案回答医疗问题。 2. 文本摘要：构建新闻或论文摘要应用，从多个数据源检索相关文本帮助大模型生成综合摘要，如从多个新闻网站检索同一事件报道生成全面摘要。 3. 文本生成：构建诗歌、故事生成等应用，从不同数据源检索灵感协助大模型生成更有趣和创意的文本，如从诗歌、歌词或小说中检索相关文本生成作品。 此外，还介绍了本地部署资讯问答机器人的实现方式，即基于用户问题从向量数据库检索相关段落并按阈值过滤，让模型参考上下文信息回答，还创建了网页 UI 并进行评测，对不同模型的测试表现进行了对比，得出 GPT4 表现最佳等结论，并总结了使用 Langchain 和 Ollama 技术栈在本地部署资讯问答机器人及相关要点，即上下文数据质量和大模型性能决定 RAG 系统性能上限。
2025-04-11
飞书智能伙伴创建平台 RAG实现
飞书智能伙伴创建平台（英文名：Aily）是飞书团队旗下的企业级 AI 应用开发平台，能提供简单、安全且高效的环境，帮助企业构建和发布 AI 应用，推动业务创新和效率提升，为企业探索大语言模型应用新篇章、迎接智能化未来提供理想选择。 在飞书智能伙伴创建平台上实现 RAG 相关应用有多种方式： 1. 利用飞书的知识库智能问答技术，引入 RAG 技术，通过机器人帮助用户快速检索内容。 2. 可以使用飞书的智能伙伴功能搭建 FAQ 机器人，了解智能助理的原理和使用方法。 3. 本地部署资讯问答机器人，如通过 Langchain + Ollama + RSSHub 实现 RAG，包括导入依赖库、从订阅源获取内容、为文档内容生成向量等步骤。例如使用 feedparse 解析 RSS 订阅源，ollama 跑大模型（使用前需确保服务开启并下载好模型），使用文本向量模型 bgem3（如从 https://huggingface.co/BAAI/bgem3 下载，假设放置在某个路径 /path/to/bgem3，通过函数利用 FAISS 创建高效向量存储）。 使用飞书智能伙伴创建平台的方式： 1. 在 WaytoAGI 飞书知识库首页找到加入飞书群的链接（二维码会定期更新，需在找到最新二维码），点击加入，直接@机器人。 2. 在 WaytoAGI.com 的网站首页，直接输入问题即可得到回答。 创建问答机器人的原因： 1. 知识库内容庞大，新用户难以快速找到所需内容。 2. 传统搜索基于关键词及相关性，存在局限性。 3. 需要用更先进的 RAG 技术解决问题。 4. 在群中提供快速检索信息的方式，使用更便捷。 2024 年 2 月 22 日的会议介绍了 WaytoAGI 社区的成立愿景和目标，以及其在飞书平台上的知识库和社区情况，讨论了相关技术和应用场景，并介绍了企业级 agent 方面的实践。
2025-04-08
RAG是什么
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点： 1. LLM 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. LLM 的知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. LLM 的输出难以解释和验证，存在内容黑盒、不可控及受幻觉干扰等问题。 4. LLM 容易泄露隐私训练数据。 5. LLM 的规模大，训练和运行成本高。 而 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景如知识问答系统，用户提出问题，RAG 模型从大规模的文档集合中检索相关的文档，然后生成回答。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块。 3. 存储：包括将切分好的文档块进行嵌入转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2025-04-03
知识图谱
知识图谱是一种揭示实体之间关系的语义网络，可以对现实世界的事物及其相互关系进行形式化地描述。它于 2012 年 5 月 17 日由 Google 正式提出，初衷是提高搜索引擎的能力，增强用户的搜索质量和体验，实现从网页链接到概念链接的转变，支持按主题检索和语义检索。 知识图谱的关键技术包括： 1. 知识抽取： 实体抽取：通过命名实体识别从数据源中自动识别命名实体。 关系抽取：从数据源中提取实体之间的关联关系，形成网状知识结构。 属性抽取：从数据源中采集特定实体的属性信息。 2. 知识表示：包括属性图和三元组。 3. 知识融合： 实体对齐：消除异构数据中的实体冲突、指向不明等不一致性问题。 知识加工：对知识统一管理，形成大规模的知识体系。 本体构建：以形式化方式明确定义概念之间的联系。 质量评估：计算知识的置信度，提高知识质量。 知识更新：不断迭代更新，扩展现有知识，增加新知识。 4. 知识推理：在已有的知识库基础上挖掘隐含的知识。 在国家人工智能产业综合标准化体系建设指南中，知识图谱标准规范了知识图谱的描述、构建、运维、共享、管理和应用，包括知识表示与建模、知识获取与存储、知识融合与可视化、知识计算与管理、知识图谱质量评价与互联互通、知识图谱交付与应用、知识图谱系统架构与性能要求等标准。
2025-04-17
学习大模型请给我一张知识图谱
以下是为您提供的大模型知识图谱： 1. 非技术背景，一文读懂大模型 整体架构 基础层：为大模型提供硬件支撑，数据支持等，例如 A100、数据服务器等。 数据层：企业根据自身特性维护的垂域数据，分为静态的知识库和动态的三方数据集。 模型层：LLm 或多模态模型，LLm 即大语言模型，如 GPT，一般使用 transformer 算法实现；多模态模型包括文生图、图生图等，训练所用数据与 llm 不同，用的是图文或声音等多模态的数据集。 平台层：模型与应用间的平台部分，如大模型的评测体系，或者 langchain 平台等。 表现层：也就是应用层，用户实际看到的地方。 2. AI Agent 系列：Brain 模块探究 知识 内置知识 常识知识：包括日常生活中广泛认可的事实和逻辑规则，帮助智能体具备泛化能力。 专业知识：涉及深入特定领域的详细信息，如医学、法律、科技、艺术等领域的专有概念和操作方法。 语言知识：包括语法规则、句型结构、语境含义以及文化背景等，还涉及非文字部分如语调、停顿和强调等。 3. 大模型入门指南 通俗定义：输入大量语料，让计算机获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。 类比学习过程 找学校：训练 LLM 需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练大模型。 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 找老师：用算法讲述“书本”中的内容，让大模型能够更好理解 Token 之间的关系。 就业指导：为了让大模型能够更好胜任某一行业，需要进行微调（fine tuning）指导。 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。 Token：被视为模型处理和生成的文本单位，可代表单个字符、单词、子单词等，在将输入进行分词时，会对其进行数字化，形成词汇表。
2025-04-07
知识图谱
知识图谱是一种揭示实体之间关系的语义网络，能够对现实世界的事物及其相互关系进行形式化描述。它于 2012 年 5 月 17 日由 Google 正式提出，初衷是提高搜索引擎能力，增强用户搜索质量和体验，实现从网页链接到概念链接的转变，支持按主题检索和语义检索。 知识图谱的关键技术包括： 1. 知识抽取： 实体抽取：通过命名实体识别从数据源中自动识别命名实体。 关系抽取：从数据源中提取实体之间的关联关系，形成网状知识结构。 属性抽取：从数据源中采集特定实体的属性信息。 2. 知识表示：包括属性图、三元组等。 3. 知识融合： 实体对齐：消除异构数据中的实体冲突、指向不明等不一致性问题。 知识加工：对知识统一管理，形成大规模知识体系。 本体构建：以形式化方式明确定义概念之间的联系。 质量评估：计算知识的置信度，提高知识质量。 知识更新：不断迭代更新，扩展现有知识，增加新知识。 4. 知识推理：在已有的知识库基础上挖掘隐含的知识。 在国家人工智能产业综合标准化体系建设指南中，知识图谱标准规范了知识图谱的描述、构建、运维、共享、管理和应用，包括知识表示与建模、知识获取与存储、知识融合与可视化、知识计算与管理、知识图谱质量评价与互联互通、知识图谱交付与应用、知识图谱系统架构与性能要求等标准。
2025-03-21
知识图谱产品
知识图谱（Knowledge Graph，KG）是一种揭示实体之间关系的语义网络，可以对现实世界的事物及其相互关系进行形式化地描述。 知识图谱于 2012 年 5 月 17 日被 Google 正式提出，其初衷是为了提高搜索引擎的能力，增强用户的搜索质量以及搜索体验。知识图谱可以将 Web 从网页链接转向概念链接，支持用户按照主题来检索，实现语义检索。 知识图谱的关键技术包括： 1. 知识抽取：通过自动化的技术抽取出可用的知识单元，包括实体抽取（命名实体识别（Named Entity Recognition，NER）从数据源中自动识别命名实体）、关系抽取（从数据源中提取实体之间的关联关系，形成网状的知识结构）、属性抽取（从数据源中采集特定实体的属性信息）。 2. 知识表示：属性图、三元组。 3. 知识融合：在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等，达到数据、信息、方法、经验等知识的融合，形成高质量知识库。包括实体对齐（消除异构数据中的实体冲突、指向不明等不一致性问题）、知识加工（对知识统一管理，形成大规模的知识体系）、本体构建（以形式化方式明确定义概念之间的联系）、质量评估（计算知识的置信度，提高知识的质量）、知识更新（不断迭代更新，扩展现有知识，增加新的知识）。 4. 知识推理：在已有的知识库基础上挖掘隐含的知识。
2025-03-21
知识图谱
知识图谱是一种揭示实体之间关系的语义网络，可以对现实世界的事物及其相互关系进行形式化地描述。它于 2012 年 5 月 17 日由 Google 正式提出，初衷是提高搜索引擎的能力，增强用户的搜索质量和体验，实现从网页链接到概念链接的转变，支持按主题检索和语义检索。 知识图谱的关键技术包括： 1. 知识抽取： 实体抽取：通过命名实体识别从数据源中自动识别命名实体。 关系抽取：从数据源中提取实体之间的关联关系，形成网状知识结构。 属性抽取：从数据源中采集特定实体的属性信息。 2. 知识表示：包括属性图和三元组。 3. 知识融合： 实体对齐：消除异构数据中的实体冲突、指向不明等不一致性问题。 知识加工：对知识统一管理，形成大规模的知识体系。 本体构建：以形式化方式明确定义概念之间的联系。 质量评估：计算知识的置信度，提高知识质量。 知识更新：不断迭代更新，扩展现有知识，增加新知识。 4. 知识推理：在已有的知识库基础上挖掘隐含的知识。 在国家人工智能产业综合标准化体系建设指南中，知识图谱标准规范了知识图谱的描述、构建、运维、共享、管理和应用，包括知识表示与建模、知识获取与存储、知识融合与可视化、知识计算与管理、知识图谱质量评价与互联互通、知识图谱交付与应用、知识图谱系统架构与性能要求等标准。
2025-03-21
知识图谱构建
知识图谱是一种揭示实体之间关系的语义网络，能够对现实世界的事物及其相互关系进行形式化描述。它于 2012 年 5 月 17 日由 Google 正式提出，初衷是提高搜索引擎能力，增强用户搜索质量和体验，实现从网页链接到概念链接的转变，支持按主题检索和语义检索。 知识图谱构建的关键技术包括： 1. 知识抽取：通过自动化技术抽取可用的知识单元，如实体抽取（命名实体识别）、关系抽取（提取实体间关联关系）、属性抽取（采集特定实体的属性信息）。 2. 知识表示：包括属性图、三元组等。 3. 知识融合：在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等，包括实体对齐（消除实体冲突等不一致性问题）、知识加工（统一管理知识）、本体构建（明确定义概念联系）、质量评估（计算知识置信度）、知识更新（迭代扩展知识）。 4. 知识推理：在已有知识库基础上挖掘隐含知识。 在 LLM 落地思考方面，NLP 与知识图谱是主要的落地类型，但存在一些问题。如实现某个 NLP 任务时，需要大量人工标注和长时间训练，交付后较难新增意图和泛化任务，有时使用句式规则方式更好维护更新；构建知识图谱复杂，需与行业专家深度讨论，预见企业长远业务发展制定 schema，周期长且易与业务错位。而 LLM 出现后对 NLP、NLG、KG 有较大提升，带来更好更多的落地可能。 在以问题驱动的 AI+内容创作中，随着学习深入，可使用大模型帮助构建和扩展知识图谱。
2025-02-27
coze搭建智能体，用上传的文件和知识库的文件做对比，分析差异点。
以下是关于在 Coze 中搭建智能体的相关信息： 1. 证件照相关操作： 展示原图上传结果，基本脸型已换，生成效果与上传照片特征有关。 改背景可利用改图功能，一键改图效果更好，输出数据类型为图片。 豆包节点生成的是 URL 地址，与前者不同，在工作流使用有差异，可参考简单提示词。 介绍证件照工作流相关操作，包括通过提示词改背景颜色，设置输出方式为返回变量；讲解消耗 token 及保存结果相关问题；对按钮、表单添加事件并设置参数，限制上传文件数量；还涉及给表单和图片绑定数据，以及每次操作后刷新界面确保设置生效。 围绕操作讲解与优化展开，介绍 for meet 的设置，如表单事件操作、图片上传数量修改等，提及编程基础知识。还讲述成果图连接、绑定数据方法及注意事项。展示基本功能实现情况，分析换性别等问题成因，指出需在工作流优化提示词，也可尝试用视频模型解决，最后进入问答环节。 2. 多维表格的高速数据分析： 创建智能体，使用单 Agent 对话流模式。 编排对话流，创建新的对话流并关联智能体。 使用代码节点对两个插件获取的结果进行数据处理，注意代码节点输出的配置格式。 测试，找到一篇小红书笔记，试运行对话流，在对话窗口输入地址查看数据。 发布，选择多维表格，配置输出类型为文本，输入类型选择字段选择器，完善上架信息，可选择仅自己可用以加快审核。 3. 智能体与微信和微信群的连接： 创建知识库，可选择手动清洗数据提高准确性，包括在线知识库和本地文档。 在线知识库创建时，飞书在线文档中每个问题和答案以分割，可编辑修改和删除。 本地文档中注意拆分内容提高训练数据准确度，如将课程章节按固定方式人工标注和处理。 发布应用，确保在 Bot 商店中能够搜到。
2025-04-18
coze搭建知识库和上传文件做对比分析
以下是关于 Coze 搭建知识库和上传文件的对比分析： 创建文本型知识库： 自动分段与清洗：扣子可对上传的内容进行自动解析，支持复杂布局的文件处理，如识别段落、页眉/页脚/脚注等非重点内容，支持跨页跨栏的段落合并，支持解析表格中的图片和文档中的表格内容（目前仅支持带线框的表格）。操作步骤为在分段设置页面选择自动分段与清洗，然后依次单击下一步、确认，可查看分段效果，不满意可重新分段并使用自定义分段。 自定义：支持自定义分段规则、分段长度及预处理规则。操作时在分段设置页面选择自定义，然后依次设置分段规则和预处理规则，包括选择分段标识符、设置分段最大长度和文本预处理规则，最后单击下一步完成内容分段。 创建表格型知识库： 目前支持 4 种导入类型：本地文档、API、飞书、自定义。 本地文档：选择本地文档从本地文件中导入表格数据，目前支持上传 Excel 和 CSV 格式的文件，文件不得大于 20M，一次最多可上传 10 个文件，且表格内需要有列名和对应的数据。 API：参考特定操作从 API 返回数据中上传表格内容，包括选择 API、单击新增 API、输入 API URL 并选择数据更新频率，然后单击下一步。 飞书：参考特定操作从飞书表格中导入内容，包括选择飞书、在新增知识库页面单击授权并选择要导入数据的飞书账号、单击安装扣子应用（仅首次导入需授权和安装），然后选择要导入的表格并单击下一步。目前仅支持导入“我的空间”下的飞书文档，云文档的创建者必须是自己，暂不支持导入知识库和共享空间下的云文档。 上传文本内容： 在线数据：扣子支持自动抓取指定 URL 的内容，也支持手动采集指定页面上的内容，上传到数据库。 自动采集方式：适用于内容量大、需批量快速导入的场景。操作步骤为在文本格式页签下选择在线数据，然后依次单击下一步、自动采集、新增 URL，输入网站地址、选择是否定期同步及周期，最后单击确认，上传完成后单击下一步，系统会自动分片。 手动采集：适用于精准采集网页指定内容的场景。操作步骤为安装扩展程序，在文本格式页签下选择在线数据，然后依次单击下一步、手动采集、授予权限，输入采集内容的网址，标注提取内容，查看数据确认无误后完成并采集。
2025-04-18
知识库怎么构建
构建知识库的方法主要有以下几种： 1. 使用 Flowith 构建： 选择“Manage Your Knowledge Base”，进入知识库管理页面。 点击左上角的加号添加新的知识库，为其起一个便于分辨的名字。 点击添加文件，建议使用 Markdown 格式的文件。 等待 Flowith 对文件进行抽取等处理，处理完毕后可在知识库管理页面测试检索。 2. 使用 Dify 构建： 准备数据：收集文本数据，进行清洗、分段等预处理。 创建数据集：在 Dify 中创建新数据集，上传准备好的文档并编写描述。 配置索引方式：根据需求选择高质量模式、经济模式或 Q&A 分段模式。 集成至应用：将数据集集成到对话型应用中，配置数据集的使用方式。 持续优化：收集用户反馈，更新知识库内容和优化索引方式。 3. 本地部署大模型并搭建个人知识库（涉及 RAG 技术）： 了解 RAG 技术：大模型训练数据有截止日期，RAG 可通过检索外部数据并在生成步骤中传递给 LLM 来解决依赖新数据的问题。 RAG 应用的 5 个过程： 文档加载：从多种来源加载文档，如 PDF、SQL 等。 文本分割：把文档切分为指定大小的块。 存储：包括将文档块嵌入转换成向量形式，并将向量数据存储到向量数据库。 检索：通过检索算法找到与输入问题相似的嵌入片。 输出：将问题和检索出的嵌入片提交给 LLM 生成答案。 文本加载器：将用户提供的文本加载到内存中以便后续处理。
2025-04-15
如何搭建知识库
搭建知识库的方法如下： 使用 flowith 搭建： 选择“Manage Your Knowledge Base”，进入知识库管理页面。 点击左上角的加号添加新的知识库，给知识库起一个便于分辨的名字。 点击添加文件，建议使用 Markdown 格式的文件。 Flowith 会对文件进行抽取等处理，处理完毕后可在知识库管理页面测试检索。 使用 Dify 搭建： 准备数据：收集文本数据，进行清洗、分段等预处理。 创建数据集：在 Dify 中创建新数据集，上传准备好的文档并编写描述。 配置索引方式：提供三种索引方式，根据需求选择，如高质量模式、经济模式和 Q&A 分段模式。 集成至应用：将数据集集成到对话型应用中，配置数据集的使用方式。 持续优化：收集用户反馈，更新知识库内容和优化索引方式。 使用 Coze 智能体搭建： 手动清洗数据： 在线知识库：点击创建知识库，创建 FAQ 知识库，选择飞书文档，输入区分问题和答案，可编辑修改和删除，添加 Bot 并在调试区测试效果。 本地文档：注意拆分内容，提高训练数据准确度，按章节进行人工标注和处理，然后创建自定义清洗数据。 发布应用：点击发布，确保在 Bot 商店中能搜到。
2025-04-14
如何搭建自己的知识库
以下是搭建自己知识库的方法： 1. 选择“Manage Your Knowledge Base”，进入知识库管理页面。 2. 在页面左上角点击加号，添加新的知识库，并为其起一个易于分辨的名字。 3. 点击添加文件，建议使用 Markdown 格式的文件。 4. 等待 Flowith 对文件进行抽取等处理。 5. 处理完毕后，可在知识库管理页面测试检索，输入关键词过滤相关内容。 此外，搭建本地知识库还需了解 RAG 技术： 1. RAG 是一种当需要依靠不包含在大模型训练集中的数据时所采用的主要方法，即先检索外部数据，然后在生成步骤中将这些数据传递给 LLM。 2. 一个 RAG 的应用包括文档加载、文本分割、存储、检索和输出 5 个过程。 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 文本分割：把 Documents 切分为指定大小的块。 存储：将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 检索：通过某种检索算法找到与输入问题相似的嵌入片。 输出：把问题以及检索出来的嵌入片一起提交给 LLM，生成更合理的答案。 对于基于 GPT API 搭建定制化知识库，涉及给 GPT 输入定制化的知识。由于 GPT3.5 一次交互支持的 Token 有限，OpenAI 提供了 embedding API 解决方案。Embeddings 是一个浮点数字的向量，两个向量之间的距离衡量它们的关联性，小距离表示高关联度。在 OpenAI 词嵌入中，靠近向量的词语在语义上相似。文档上有创建 embeddings 的示例。
2025-04-14
ai可以和哪些领域结合，让普通的人的生活得到帮助
AI 可以与以下领域结合，为普通人的生活提供帮助： 1. 教育培训： 借助大型语言模型，人工智能生成的角色可以作为数字教师，如让牛顿亲自授课《牛顿运动定律》，让白居易为您讲述《长恨歌》背后的故事。 数字教师可以实现一对一辅导，根据学生的学习情况、兴趣和偏好提供定制化的学习计划和资源，缓解教育资源不平等的问题。 人工智能生成的虚拟角色也可以是数字陪伴，促进儿童成长。 2. 娱乐和休闲： 在影视行业，AGI 时代每个人都可以让 AI 根据自己喜好“量身定制”电影或剧集，甚至互动式地发展剧情。 在游戏领域，AGI 可以创造出高度逼真的虚拟角色，与玩家互动，使游戏世界更加生动。 在音乐、美术创作方面，AGI 能与人类艺术家协作或作为创作者助理，普通人也可以通过简短描述让 AGI 生成作品。 3. 日常生活： AGI 可以读取用户日程和邮件，自动为用户安排最优路线、预订餐厅、购买日用品等。 在购物时，AI 可以根据用户的尺寸和喜好筛选商品清单，甚至替用户做决定。 但在享受这些便利的同时，也需要警惕过度依赖带来的问题，如人类判断力和独立思考能力的退化。
2025-04-14
请问DeepSeek如何与生产型企业进行结合创造效益 ？
DeepSeek 与生产型企业的结合可以从以下几个方面创造效益： 1. 模型优化与性能提升：英伟达基于 FP4 优化的 DeepSeekR1 检查点现已在 Hugging Face 上开源。这种优化将模型Transformer 模块内的线性算子的权重和激活量化到了 FP4，适用于 TensorRTLLM 推理。每个参数从 8 位减少到 4 位，使磁盘空间和 GPU 显存的需求减少约 1.6 倍。使用 TensorRTLLM 部署时，需要支持 TensorRTLLM 的英伟达 GPU（如 B200），并且需要 8 个 GPU 来实现 tensor_parallel_size=8 的张量并行。代码利用 FP4 量化、TensorRT 引擎和并行计算，实现高效、低成本的推理，适合生产环境或高吞吐量应用。 2. 部署指南：社区伙伴 Hua 投稿的《在 Azure AI Foundry 部署 DeepSeek 大模型全指南》，手把手指导在微软 Azure AI Foundry 平台上完成 DeepSeek R1（671B）模型的完整部署流程，包含环境准备、资源管理、模型测试及 API 调用说明。 3. 为企业带来实质提升：DeepSeek 的强化学习和联网搜索能力改变了信息获取方式，从“检索—阅读—摘要”转变为“提问—获得答案”，大幅提升工作效率。其开源策略打破了技术垄断，让国内大模型能力迅速提升。在企业级部署方面，通过行业知识蒸馏和领域自适应训练，实现对企业非结构化数据的深度解析能力。特别是在实时决策支持、多模态交互及复杂知识图谱构建方面，为企业打造具备持续进化能力的数字神经中枢。这种“AI 即服务”的部署模式，重构了传统工作流效率，并通过预测性分析和认知自动化开启企业智能化的第二增长曲线。同时，还可以考虑垂直场景强化学习机制的增加，如在智能制造场景中嵌入设备故障模式自发现的奖惩机制；以及可信计算架构的升级，针对金融、医疗等高合规需求场景。
2025-04-10
CRM那些功能适合和ai结合
AIGC 在 CRM 中的应用主要包括以下几个方面： 1. 个性化营销内容创作：根据客户个人信息、购买历史、偏好等数据生成个性化且富有创意的营销文案、视觉内容等，提高营销效率和转化率。 2. 客户服务对话系统：基于 AIGC 的对话模型开发智能客服系统，通过自然语言交互解答客户咨询、投诉等，缓解人工客服压力。 3. 产品推荐引擎：借助 AIGC 生成丰富的产品描述、视觉展示等内容，结合推荐算法为客户推荐更贴合需求的产品，提升销售业绩。 4. CRM 数据分析报告生成：AIGC 可以自动生成数据分析报告，包括文字、图表、视频演示等形式，加快报告生产流程。 5. 智能翻译和本地化：提供高质量的多语种翻译及本地化服务，帮助企业打造全球化营销内容。 6. 虚拟数字人和营销视频内容生成：快速生成虚拟数字人形象、场景背景和营销视频内容，降低视频制作成本。 7. 客户反馈分析：高效分析海量客户反馈文本和多媒体信息，挖掘客户需求和潜在痛点。 以下是一些与 AI 结合的 CRM 相关产品推荐： 1. Clay：一款 AI 驱动的联系人应用软件，自动整理联系人信息，帮助管理个人和职业人脉。 2. Promptden：提示词交流和交易社区，可探索、发现和分享从 ChatGPT 和 Bard 文本提示到 MidJourney、Stable Diffusion 等 AI 生成的图像。 3. Parthean AI：财务教练，将 AI 工具与个人财务信息集成，提供定制答案，帮助用户制定预算并规划财务目标。 4. TinyStudio：免费的 Mac 应用程序，利用 M1/M2 芯片为视频和音频文件生成字幕。 5. Pagegpt：提供个性化网页设计，生成文案和图片，帮助吸引和转化顾客。 此外，工具使用或函数调用通常被视为从 RAG 到主动行为的第一个半步，为现代人工智能栈增加新的层。一些流行的原语如网页浏览（Browserbase、Tiny Fish）、代码解释（E2B）和授权+认证（Anon）已经出现，它们使 LLMs 能够导航网络、与外部软件（如 CRM、ERP）交互并运行自定义代码。例如，Omni 的计算 AI 功能利用 LLM 直接输出适当的 Excel 函数到电子表格中，然后执行计算并自动生成复杂查询供用户使用。
2025-04-09
扣子AI在中小学数学教学中可以怎么结合使用
扣子 AI 在中小学数学教学中的结合使用可以参考以下方面： 1. 自适应学习系统：例如使用像 Khan Academy 这样的平台，结合 AI 技术为学生提供个性化的数学学习路径和练习题，根据学生的能力和需求进行精准推荐。 2. 智能题库和作业辅助：利用像 Photomath 这样的工具，通过图像识别和数学推理技术为学生提供数学问题的解答和解题步骤。 3. 虚拟教学助手：使用如 Socratic 这样的应用，借助 AI 技术为学生解答数学问题、提供教学视频和答疑服务，帮助学生理解和掌握数学知识。 4. 交互式学习平台：参与像 Wolfram Alpha 这样的交互式学习平台的数学学习课程和实践项目，利用 AI 技术进行数学建模和问题求解。 此外，为小学数学课设计教育游戏时，可以考虑以下几个方面： 1. 游戏机制：选择适合小学生的游戏机制，如跳跃、追逐、搜寻等，增加游戏趣味性和参与度。 2. 游戏元素：选择数学相关的元素，如数字、运算符号、图形等，将它们融入游戏中，使学生通过游戏了解或巩固相应的数学知识。
2025-04-01
ai和office软件结合的插件有哪些
以下是一些 AI 和 Office 软件结合的插件： 1. Excel Labs：这是一个 Excel 插件，新增了基于 OpenAI 技术的生成式 AI 功能，可用于数据分析和决策支持。 2. Microsoft 365 Copilot：微软推出的 AI 工具，整合了 Word、Excel、PowerPoint、Outlook、Teams 等办公软件，能通过聊天形式完成用户需求，如数据分析和格式创建。 3. Formula Bot：提供数据分析聊天机器人和公式生成器两大功能，用户可通过自然语言交互式地进行数据分析和生成 Excel 公式。 4. Numerous AI：支持 Excel 和 Google Sheets 的 AI 插件，能进行公式生成、生成相关文本内容、执行情感分析、语言翻译等任务。 随着技术发展，未来可能会有更多 AI 功能集成到 Office 软件中，进一步提高工作效率和智能化水平。内容由 AI 大模型生成，请仔细甄别。
2025-04-01
AI与autocad ，blender结合应用
以下是关于 AI 与 AutoCAD、Blender 结合应用的相关信息： 与 Blender 结合应用： 通过联网搜索向 AI 提供最新信息，常见的 AI 助手采用此方式获取实时信息。 可通过 API 向 AI 提供自有系统数据，解决行业内部或自有系统信息接入问题。 MCP 协议为 AI 大模型与数据源集成提供统一标准，实现更可持续的架构。 可以通过一句话提示，让 Claude 自动化打开 Blender 将 2D 图片转为 3D 建模，还能基于此搭建互动网页。 有网友展示“Rodin AI”在 Blender 中通过 Blender MCP 进行自动 3D 建模的过程。 幻之境开发小组联合开发了基于 STABLE DIFFUSION ComfyUI 核心的 Blender AI 插件“无限圣杯”。 Blender 是免费开源的三维制作软件，与 ComfyUI 在工作流程上天然适配。 目前提供的内容中未涉及 AI 与 AutoCAD 结合应用的相关信息。
2025-04-01