RAG是什么

RAG（RetrievalAugmented Generation，检索增强生成）是一种结合检索和生成能力的自然语言处理架构。 通用语言模型通过微调可完成常见任务，而更复杂和知识密集型任务可基于语言模型构建系统，访问外部知识源来完成，如 Meta AI 引入的 RAG 方法。RAG 把信息检索组件和文本生成模型结合，可微调，内部知识修改高效，无需重新训练整个模型。它会接受输入并检索相关支撑文档，给出来源，与原始提示词组合后送给文本生成器得到输出，能适应事实变化，让语言模型获取最新信息并生成可靠输出。 大语言模型（LLM）存在一些缺点，如无法记住所有知识尤其是长尾知识、知识易过时且不好更新、输出难以解释和验证、易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有诸多优点，如数据库存储和更新稳定且无学习风险、数据更新敏捷且不影响原有知识、降低大模型输出出错可能、便于管控用户隐私数据、降低大模型训练成本。 在 RAG 系统开发中存在 12 个主要难题，并已有相应的解决策略。

RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点： 1. LLM 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. LLM 的知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. LLM 的输出难以解释和验证，存在内容黑盒、不可控以及受幻觉等问题干扰的情况。 4. LLM 容易泄露隐私训练数据。 5. LLM 的规模大，训练和运行成本高。 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器，包括 PDF 在内的非结构化数据、SQL 在内的结构化数据，以及 Python、Java 之类的代码等。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储：涉及将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。

RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型存在一些缺点，如无法记住所有知识（尤其是长尾知识）、知识容易过时且不好更新、输出难以解释和验证、容易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，增删改查可解释，且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型本身的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档。 2. 文本分割：把 Documents 切分为指定大小的块。 3. 存储：包括将切分好的文档块进行嵌入转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。

LangChain 和 RAG 的结合具有以下优势： 1. 灵活性：可根据需求和数据源选择不同组件和参数定制 RAG 应用，也能使用自定义组件（需遵循接口规范）。 2. 可扩展性：能利用 LangChain 的云服务部署和运行，无需担忧资源和性能限制，还可借助分布式计算功能加速应用，发挥多个节点并行处理能力。 3. 可视化：通过 LangSmith 可视化工作流程，查看各步骤输入输出及组件性能状态，用于调试和优化，发现并解决潜在问题和瓶颈。 其应用场景多样，包括： 1. 专业问答：构建医疗、法律、金融等专业领域的问答应用，从专业数据源检索信息辅助大模型回答问题，如从医学文献中检索疾病诊治方案回答医疗问题。 2. 文本摘要：构建新闻或论文摘要应用，从多个数据源检索相关文本帮助大模型生成综合摘要，如从多个新闻网站检索同一事件报道生成全面摘要。 3. 文本生成：构建诗歌、故事生成等应用，从不同数据源检索灵感协助大模型生成更有趣和创意的文本，如从诗歌、歌词或小说中检索相关文本生成作品。 此外，还介绍了本地部署资讯问答机器人的实现方式，即基于用户问题从向量数据库检索相关段落并按阈值过滤，让模型参考上下文信息回答，还创建了网页 UI 并进行评测，对不同模型的测试表现进行了对比，得出 GPT4 表现最佳等结论，并总结了使用 Langchain 和 Ollama 技术栈在本地部署资讯问答机器人及相关要点，即上下文数据质量和大模型性能决定 RAG 系统性能上限。

飞书智能伙伴创建平台（英文名：Aily）是飞书团队旗下的企业级 AI 应用开发平台，能提供简单、安全且高效的环境，帮助企业构建和发布 AI 应用，推动业务创新和效率提升，为企业探索大语言模型应用新篇章、迎接智能化未来提供理想选择。 在飞书智能伙伴创建平台上实现 RAG 相关应用有多种方式： 1. 利用飞书的知识库智能问答技术，引入 RAG 技术，通过机器人帮助用户快速检索内容。 2. 可以使用飞书的智能伙伴功能搭建 FAQ 机器人，了解智能助理的原理和使用方法。 3. 本地部署资讯问答机器人，如通过 Langchain + Ollama + RSSHub 实现 RAG，包括导入依赖库、从订阅源获取内容、为文档内容生成向量等步骤。例如使用 feedparse 解析 RSS 订阅源，ollama 跑大模型（使用前需确保服务开启并下载好模型），使用文本向量模型 bgem3（如从 https://huggingface.co/BAAI/bgem3 下载，假设放置在某个路径 /path/to/bgem3，通过函数利用 FAISS 创建高效向量存储）。 使用飞书智能伙伴创建平台的方式： 1. 在 WaytoAGI 飞书知识库首页找到加入飞书群的链接（二维码会定期更新，需在找到最新二维码），点击加入，直接@机器人。 2. 在 WaytoAGI.com 的网站首页，直接输入问题即可得到回答。 创建问答机器人的原因： 1. 知识库内容庞大，新用户难以快速找到所需内容。 2. 传统搜索基于关键词及相关性，存在局限性。 3. 需要用更先进的 RAG 技术解决问题。 4. 在群中提供快速检索信息的方式，使用更便捷。 2024 年 2 月 22 日的会议介绍了 WaytoAGI 社区的成立愿景和目标，以及其在飞书平台上的知识库和社区情况，讨论了相关技术和应用场景，并介绍了企业级 agent 方面的实践。

RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点： 1. LLM 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. LLM 的知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. LLM 的输出难以解释和验证，存在内容黑盒、不可控及受幻觉干扰等问题。 4. LLM 容易泄露隐私训练数据。 5. LLM 的规模大，训练和运行成本高。 而 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景如知识问答系统，用户提出问题，RAG 模型从大规模的文档集合中检索相关的文档，然后生成回答。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块。 3. 存储：包括将切分好的文档块进行嵌入转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。