Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

RAG的局限

Answer

RAG 技术存在以下局限性：

  1. 知识领域方面：适合打造专才，不适合打造通才。能够提供新的信息、专有领域知识等，但不适合提供通用领域知识。
  2. 模型输出方面：让模型保持稳定的风格或结构输出，降低 token 消耗等，这两点需要使用微调技术解决。
  3. 检索质量方面：RAG 技术的表现高度依赖于检索到的信息质量。如果知识库中的信息存在错误或偏差，生成内容也可能受其影响。
  4. 资源需求方面：计算资源需求较高，可能限制其在资源有限的场景中的应用。
  5. 处理速度方面：由于需要先进行信息检索，再进行内容生成，处理速度相对较慢，可能不适合实时性要求高的应用。
  6. 可能引入错误和幻觉：例如检索出不相关或不准确的文本片段，或者生成与输入或上下文不一致的输出。
Content generated by AI large model, please carefully verify (powered by aily)

References

3. 如何让 LLM 应用性能登峰造极

如果LLM应用面临的问题与上下文有关，那么RAG就是一个强大的工具。它使模型能够访问外部数据源，提供模型训练数据中不存在的必要上下文。这种方法可以显著提高模型的性能，尤其是在最新信息或特定领域信息至关重要的情况下。为模型提供参考文本的情况下，也能大大降低模型幻觉。需要注意的是RAG的局限性如下：适合打造专才，不适合打造通才。虽然能够为模型提供新的信息、专有领域知识等，但并不适合为模型提供通用领域知识。让模型保持稳定的风格或结构输出，降低token消耗等。也就是我们在prompt工程局限性的后两点，而这两点需要使用微调技术解决。

【深度揭秘】AI 幻觉背后的技术真相与应对策略，探索人工智能的未来

尽管RAG技术在减少AI幻觉方面表现出色，但它也存在一些局限性：依赖检索质量：RAG技术的表现高度依赖于检索到的信息质量。如果知识库中的信息存在错误或偏差，生成内容也可能受其影响。计算资源需求高：RAG技术结合了检索和生成两部分，计算资源需求较高，可能限制其在资源有限的场景中的应用。处理速度慢：由于需要先进行信息检索，再进行内容生成，RAG技术的处理速度相对较慢，可能不适合实时性要求高的应用。

如何基于飞书能力来开发问答机器人

RAG技术的缺点是也可能引入一些错误和幻觉，例如检索出不相关或不准确的文本片段，或者生成与输入或上下文不一致的输出。参考文档：1.[开发：LangChain应用开发指南-大模型的知识外挂RAG](https://waytoagi.feishu.cn/wiki/GnYQw1kbairUbSka90gc4XCAnSe)2.[开发：LangChain应用开发指南-大模型的知识外挂RAG](https://waytoagi.feishu.cn/wiki/EQrQwYmKpisP4RkvJZocX8nNnAL)3.[开发：产品视角的大模型RAG应用](https://waytoagi.feishu.cn/wiki/WiAwwqSfYiT8sKkYU33c7FMpnvh)4.[通过增强PDF结构识别，革新检索增强生成技术(RAG)](https://waytoagi.feishu.cn/wiki/TcwvwTa7Mij60WkM1b7cojnEnIg)5.[开发：LangChain应用开发指南-TruLens用量化对抗幻觉](https://waytoagi.feishu.cn/wiki/XXFDwmeLUiVV6Jkgb5HcTKnhntk)6.[RAG系统开发中的12大痛点及解决方案](https://waytoagi.feishu.cn/wiki/JG7rwbXKzi1f0Lk9Br8crFmPn8g)7.[XiaoHu.AI日报](https://waytoagi.feishu.cn/wiki/T2fUwmHBSiHU6Ukq9Imcu7n7nMh)

Others are asking
rag
RAG（RetrievalAugmented Generation，检索增强生成）是一种结合检索和生成能力的自然语言处理架构。 通用语言模型通过微调可完成常见任务，而更复杂和知识密集型任务可基于语言模型构建系统，访问外部知识源来完成，如 Meta AI 引入的 RAG 方法。RAG 把信息检索组件和文本生成模型结合，可微调，内部知识修改高效，无需重新训练整个模型。它会接受输入并检索相关支撑文档，给出来源，与原始提示词组合后送给文本生成器得到输出，能适应事实变化，让语言模型获取最新信息并生成可靠输出。 大语言模型（LLM）存在一些缺点，如无法记住所有知识尤其是长尾知识、知识易过时且不好更新、输出难以解释和验证、易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有诸多优点，如数据库存储和更新稳定且无学习风险、数据更新敏捷且不影响原有知识、降低大模型输出出错可能、便于管控用户隐私数据、降低大模型训练成本。 在 RAG 系统开发中存在 12 个主要难题，并已有相应的解决策略。
2025-04-15
rag介绍
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点： 1. LLM 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. LLM 的知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. LLM 的输出难以解释和验证，存在内容黑盒、不可控以及受幻觉等问题干扰的情况。 4. LLM 容易泄露隐私训练数据。 5. LLM 的规模大，训练和运行成本高。 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器，包括 PDF 在内的非结构化数据、SQL 在内的结构化数据，以及 Python、Java 之类的代码等。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储：涉及将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2025-04-14
什么是RAG
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型存在一些缺点，如无法记住所有知识（尤其是长尾知识）、知识容易过时且不好更新、输出难以解释和验证、容易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，增删改查可解释，且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型本身的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档。 2. 文本分割：把 Documents 切分为指定大小的块。 3. 存储：包括将切分好的文档块进行嵌入转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2025-04-14
RAG对话 摘要总结 功能实现
LangChain 和 RAG 的结合具有以下优势： 1. 灵活性：可根据需求和数据源选择不同组件和参数定制 RAG 应用，也能使用自定义组件（需遵循接口规范）。 2. 可扩展性：能利用 LangChain 的云服务部署和运行，无需担忧资源和性能限制，还可借助分布式计算功能加速应用，发挥多个节点并行处理能力。 3. 可视化：通过 LangSmith 可视化工作流程，查看各步骤输入输出及组件性能状态，用于调试和优化，发现并解决潜在问题和瓶颈。 其应用场景多样，包括： 1. 专业问答：构建医疗、法律、金融等专业领域的问答应用，从专业数据源检索信息辅助大模型回答问题，如从医学文献中检索疾病诊治方案回答医疗问题。 2. 文本摘要：构建新闻或论文摘要应用，从多个数据源检索相关文本帮助大模型生成综合摘要，如从多个新闻网站检索同一事件报道生成全面摘要。 3. 文本生成：构建诗歌、故事生成等应用，从不同数据源检索灵感协助大模型生成更有趣和创意的文本，如从诗歌、歌词或小说中检索相关文本生成作品。 此外，还介绍了本地部署资讯问答机器人的实现方式，即基于用户问题从向量数据库检索相关段落并按阈值过滤，让模型参考上下文信息回答，还创建了网页 UI 并进行评测，对不同模型的测试表现进行了对比，得出 GPT4 表现最佳等结论，并总结了使用 Langchain 和 Ollama 技术栈在本地部署资讯问答机器人及相关要点，即上下文数据质量和大模型性能决定 RAG 系统性能上限。
2025-04-11
飞书智能伙伴创建平台 RAG实现
飞书智能伙伴创建平台（英文名：Aily）是飞书团队旗下的企业级 AI 应用开发平台，能提供简单、安全且高效的环境，帮助企业构建和发布 AI 应用，推动业务创新和效率提升，为企业探索大语言模型应用新篇章、迎接智能化未来提供理想选择。 在飞书智能伙伴创建平台上实现 RAG 相关应用有多种方式： 1. 利用飞书的知识库智能问答技术，引入 RAG 技术，通过机器人帮助用户快速检索内容。 2. 可以使用飞书的智能伙伴功能搭建 FAQ 机器人，了解智能助理的原理和使用方法。 3. 本地部署资讯问答机器人，如通过 Langchain + Ollama + RSSHub 实现 RAG，包括导入依赖库、从订阅源获取内容、为文档内容生成向量等步骤。例如使用 feedparse 解析 RSS 订阅源，ollama 跑大模型（使用前需确保服务开启并下载好模型），使用文本向量模型 bgem3（如从 https://huggingface.co/BAAI/bgem3 下载，假设放置在某个路径 /path/to/bgem3，通过函数利用 FAISS 创建高效向量存储）。 使用飞书智能伙伴创建平台的方式： 1. 在 WaytoAGI 飞书知识库首页找到加入飞书群的链接（二维码会定期更新，需在找到最新二维码），点击加入，直接@机器人。 2. 在 WaytoAGI.com 的网站首页，直接输入问题即可得到回答。 创建问答机器人的原因： 1. 知识库内容庞大，新用户难以快速找到所需内容。 2. 传统搜索基于关键词及相关性，存在局限性。 3. 需要用更先进的 RAG 技术解决问题。 4. 在群中提供快速检索信息的方式，使用更便捷。 2024 年 2 月 22 日的会议介绍了 WaytoAGI 社区的成立愿景和目标，以及其在飞书平台上的知识库和社区情况，讨论了相关技术和应用场景，并介绍了企业级 agent 方面的实践。
2025-04-08
RAG是什么
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点： 1. LLM 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. LLM 的知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. LLM 的输出难以解释和验证，存在内容黑盒、不可控及受幻觉干扰等问题。 4. LLM 容易泄露隐私训练数据。 5. LLM 的规模大，训练和运行成本高。 而 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景如知识问答系统，用户提出问题，RAG 模型从大规模的文档集合中检索相关的文档，然后生成回答。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块。 3. 存储：包括将切分好的文档块进行嵌入转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2025-04-03
AI现在的局限是什么，在代码方面的具体说说
AI 在代码方面存在以下局限： 1. 传统观念的局限性：AI 圈子实际影响有限，模型能力有限，初体验不佳导致误解和怀疑。企业实践中，AI 普及存在门槛，需要成功案例或外部引导建立信任。 2. 编程辅助方面：使用不频繁时被视作高级自动化工具，用于生成代码或完成重复性任务，处于辅助角色，即命令式。具体表现为执行单一、线性任务，如生成排序算法代码，简单执行模式限制了更广泛应用。 3. 问题点：命令式的“指令执行”模式忽略了 AI 在创意激发和解决问题中的潜力，局限于简单代码生成，未能在设计优化、逻辑推理和需求分析等方面发挥作用。 4. 输出方式的局限：交互方式主要以文本和代码为主，输出局限在“写”层面，存在交互效率低下、表达能力受限、认知负担重和应用场景局限等问题。例如，用户需大量文字表达需求，AI 解释结果冗长，多轮反复才能达成共识；在设计方案等场景中，图形图表表达更优；人类处理图形信息效率高于文本；纯文本输出无法满足原型设计等领域实际需求。
2025-03-22
大型语言模型（LLM）基于Transformer架构的模型的优缺点是什么，有什么局限性
大型语言模型（LLM）基于 Transformer 架构的模型具有以下优点： 1. 在大量数据集上进行预训练，展现出卓越的语言处理能力，能预测接下来的 Token。 然而，也存在一些缺点和局限性： 1. 瞬态状态：天生缺乏持久的记忆或状态，需要额外的软件或系统来保留和管理上下文。 2. 概率性质：随机性导致响应的不确定性，对相同提示词可能产生不同回答。 3. 过时信息：依赖预训练数据，只能访问历史知识，无法获取实时更新。 4. 内容制造：可能生成看似合理但不准确的信息，即“幻觉”。 5. 资源密集：巨大规模意味着显著的计算和财务成本，影响可扩展性和可访问性。 6. 领域特定性：本质上通用，但通常需要特定领域数据才能在专业任务中表现出色。 7. 缺乏创造性：像一个高性能的知识检索工具，超出检索范围时表现差，甚至出现“幻觉”。面对复杂逻辑推导和新的知识推演能力不足，无法基于新的语料推演出新知识。 8. 对于特定领域或高度专业化的查询，容易产生错误信息或“幻觉”，特别是当查询超出训练数据或需要最新信息时。
2025-02-13
大模型的局限性
大模型存在以下局限性： 1. 知识的局限性：模型自身的知识完全源于训练数据，现有的主流大模型（如 ChatGPT、文心一言、通义千问等）的训练集基本抓取网络公开数据用于训练，对于一些实时性、非公开或离线的数据无法获取，导致部分知识缺失。 2. 幻觉问题：大模型的底层原理是基于数学概率的文字预测，即文字接龙，因此存在幻觉问题，会在没有答案的情况下提供虚假信息，提供过时或通用的信息，从可信度低非权威来源的资料中提供结果等。 3. 数据安全性：对于企业来说，数据安全至关重要，企业通常不愿意承担将自身私域数据上传第三方平台进行训练导致的数据泄露风险。 4. 在图灵测试游戏中，如果 AI 模型没有调用工作流，Agent 就会直接回答问题，导致游戏状态无法正确跳转，对局失败。为解决此问题，虽采取了增强模型调用能力和增加容错机制等措施，但开发难度大，且只要大模型不调用工作流一次，后续不调用的概率会很大。模型总会优先调用知识库进行问题回复，不设置知识库时，模型提的问题可能很发散，与图灵测试初衷违背。把知识库中的数据放到代码里虽可缓解问题，但反程序设计的解耦和逻辑，修改麻烦。
2024-12-11
ChatGPT当前的局限是什么
ChatGPT 目前存在以下局限： 1. 在深度逻辑推理、复杂计算、科研探索等领域存在较大局限性。 2. 在进行最后阶段的 RLHF 时，可能仅在做通用泛化上的对齐，如基于 QA 交互层面对生成内容的交互性、合理性、安全性、风险性等进行对齐。 3. 对稍微大一点的场景设计容易出现上下文衔接不上的问题，回复可能越到后面越脱离当前场景做新的不符合当前场景的设计。 4. 有时候会虚构事实并作出错误的推理。 5. 需要使用一种可能与大脑相当不同且在某些方面效率远低于大脑的策略，内部没有“循环”或“重新计算数据”，这不可避免地限制了其计算能力。 6. 目前尚不清楚如何在解决相关问题的同时保持训练系统的合理效率。
2024-12-03
文心一言的开发公司是谁，功能特点，优势性和局限性请帮我简要概括
文心一言是由百度开发的全新一代知识增强大语言模型。 功能特点： 在计算、逻辑推理、生成与创作、传统安全这 4 大基础能力上排名国内第一。 在代码、知识与百科、语言理解与抽取、工具使用能力上排名国内前三。 各项能力表现均衡且大部分能力水平较高。 能力栈广泛，可应用场景较多，重点推荐在查询搜索知识应用、任务拆解规划 Agent、文案写作以及代码编写及纠错等方面的应用，在逻辑推理方面表现不俗，可关注在科学研究、教育、工业方面的落地能力。 优势： 能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。 局限性： 从某些测试和感觉来看，其能力水平可能在 GPT3 的阶段，输出内容的可靠性与 ChatGPT 相比还有差距。
2024-11-22
对于在电力设计院工作的人员有什么推荐的AI网站或工具吗，我想到的可能的场景包括写文档、编程、画设计图、三维模型渲染等，可不局限于这些场景
以下是为在电力设计院工作的人员推荐的一些 AI 网站和工具： 1. 对于画 CAD 图： CADtools 12：这是一个 Adobe Illustrator（AI）插件，为 AI 添加了 92 个绘图和编辑工具，包括图形绘制、编辑、标注、尺寸标注、转换、创建和实用工具。 Autodesk Fusion 360：是 Autodesk 开发的一款集成了 AI 功能的云端 3D CAD/CAM 软件，能帮助创建复杂的几何形状和优化设计。 nTopology：基于 AI 的设计软件，可帮助创建复杂的 CAD 模型，包括拓扑优化、几何复杂度和轻量化设计等。 ParaMatters CogniCAD：基于 AI 的 CAD 软件，能根据用户输入的设计目标和约束条件自动生成 3D 模型，适用于拓扑优化、结构设计和材料分布等领域。 一些主流 CAD 软件，如 Autodesk 系列、SolidWorks 等，提供了基于 AI 的生成设计工具，可根据用户输入的设计目标和约束条件自动产生多种设计方案。 2. 对于制作网站： 在选择工具时，需考虑目标和需求（如个人博客、商业网站、在线商店等）、预算、易用性、自定义选项以及支持和资源（如教程、社区论坛）等因素。 3. 对于审核规划平面图： HDAidMaster：云端工具，在建筑设计、室内设计和景观设计领域表现出色，搭载自主训练的建筑大模型 ArchiMaster。 Maket.ai：主要面向住宅行业，在户型设计和室内软装设计方面有探索，能根据输入的房间面积需求和土地约束自动生成户型图。 ARCHITEChTURES：AI 驱动的三维建筑设计软件，在住宅设计早期阶段可引入相关标准和规范约束设计结果。 需要注意的是，这些工具通常需要一定的相关知识和技能才能有效使用。对于初学者，建议先学习基本技巧，然后尝试使用这些 AI 工具来提高效率。以上内容由 AI 大模型生成，请仔细甄别。
2024-09-09