大模型下文档投喂后，大模型是如何解读文档提取出答案？

1.问题解析阶段：2.接收并预处理问题，通过嵌入模型（如Word2Vec、GloVe、BERT）将问题文本转化为向量。这一步确保问题向量能有效用于后续检索。3.知识库检索阶段：4.知识库中的文档同样向量化后，比较问题向量与文档向量，选择最相关的信息片段。抽取相关信息传递给下一步骤5.信息整合阶段：6.接收检索到的信息，与上下文构建形成融合、全面的信息文本。整合信息准备进入生成阶段。7.大模型生成回答：整合后的信息被转化为向量并输入到LLM（大语言模型）。模型逐词构建回答，最终输出给用户。四、RAG实例看理论有点懵是吗？为了更理解，我们来一起看看实例。这是调试预览中的对话示例。在回复中，可以看到这里有写11条引用，3条上下文，我们具体来看下，有什么处理。一、知识库检索部分1、把输入的问题，通过Embedding做了向量化2、使用qwen语言模型把问题做了优化、添加了接近的检索词3、知识库向量检索，抽取条件包含相似度0.854、通过检索一共抽取出了11个内容块（chunk）二、大模型对话部分（因为我刷新后丢失了记录，改成说了一句：你好，所以下边的问题，变成了你好）5、此处将①②一起传递给了LLM（大语言模型），最终得到了③AI的回答。

1.信息筛选与确认：2.首先，系统会对检索器提供的信息进行评估，筛选出最相关和最可信的内容。这通常涉及到对信息的来源、时效性和相关性进行验证。3.消除冗余：4.在多个文档或数据源中，可能会有重复的信息。系统需要识别和去除这些冗余内容，以防在生成回答时出现重复或相互矛盾的信息。5.关系映射：6.系统将分析不同信息片段之间的逻辑和事实关系，如因果、对比、顺序等。这有助于构建一个结构化的知识框架，使得信息在语义上更加连贯。7.上下文构建：8.将筛选和结构化的信息组织成一个连贯的上下文环境。这通常包括对信息进行排序、归类和整合，使其形成一个统一的叙述或解答框架。9.语义融合：10.在必要时，系统可能会进行语义融合，即合并意义相近但表达不同的信息片段，以减少语义上的重复并增强信息的表达力。11.预备生成阶段：12.最后，整合好的上下文信息被编码成适合生成器处理的格式，如将文本转化为适合输入到生成模型的向量形式。④、大模型生成回答1、生成器：最终全新的上下文被一起传递给大语言模型。随后，大语言模型（LLM）根据提供的信息来回答问题。因为这个上下文包括了检索到的信息，因此大语言模型相当于同时拿到了问题和参考答案，通过LLM的全文理解，最后生成一个准确和连贯的答案。

首先我们给出一些常见缩写和专业词汇的“人话”解释，它们十分基础，但理解他们至关重要。为了讨论更加聚焦，接下来的内容将主要围绕大语言模型为主进行展开（对于其他模态的大模型，我们暂且放放）：LLM：Large language model的缩写，即大语言模型，前面百团大战中的各类大模型，说的都是大语言模型（极其应用）Prompt：中文译作提示词，就是我们输入给大模型的文本内容，可以理解为你和大模型说的话，下达的指令。提示词的质量好坏，会显著影响大模型回答的质量，很多时候如果你觉得大模型回答的太差了，AI味儿太浓了，很可能是你的提示词写的不够好，换言之，不是AI不行，而是你不行?Token：就像人类有着不同的语言，大模型也有着自己的语言体系，如图9，我们发送文本给大模型时，大模型会先把文本转换为他自己的语言，并推理生成答案，而后再翻译成我们看得懂的语言输出给我们。正如人类不同语言都有最小的字词单元（汉语的字/词，英语的字母/单词），大模型语言体系中的最小单元就称为Token。这种人类语言到大模型语言的翻译规则，也是人类定义的，以中文为例，由于不同厂商的大模型采用了不同的文本切分方法，因此一个Token对应的汉字数量也会有所不同，但在通常情况下，1Token≈1-2个汉字。请注意，大模型的收费计算方法，以及对输入输出长度的限制，都是以token为单位计量的。上下文：英文通常翻译为context，指对话聊天内容前、后的内容信息。使用时，上下文长度和上下文窗口都会影响AI大模型回答的质量。上下文长度限制了模型一次交互中能够处理的最大token数量，而上下文窗口限制了模型在生成每个新token时实际参考的前面内容的范围（关于这一点，你需要看完3.2中关于GPT的讨论，方能更好理解）