大模型的幻觉

AI 幻觉是指 AI 系统生成的信息与事实不符或与预期不符的现象。具体表现为： 生成的输出内容看似合理流畅，但实际上与输入信息、上下文环境或客观事实相矛盾，缺乏逻辑或经验支撑。 表现形式多种多样，例如在艺术创作中照片中突然出现第三只手臂。 AI 幻觉存在潜藏的风险： 误导用户，导致用户获取错误信息从而做出错误判断，如医疗 AI 助手给出错误诊断建议可能延误患者治疗。 传播虚假信息，用于制造和传播虚假新闻报道或社交媒体帖子，误导公众，影响社会稳定。 损害 AI 系统的可信度，降低用户对 AI 系统的信任度，阻碍 AI 技术推广和应用。 为了避免 AI 幻觉，需要对其生成的内容进行检查，因为即使是像 GPT4 这样相对扎实的模型或有互联网连接的 Bing 也不能完全消除幻觉。同时要注意人工智能不会真正解释自己，给出的解释可能是编造的，使用时要对其输出负责，防止被不道德地用来操纵或作弊。

AI 幻觉是指 AI 在生成内容时出现的错误或与现实世界不符的情况。以下是关于 AI 幻觉的一些重要方面： 在写东西方面： AI 容易“产生幻觉”并生成看似合理但可能完全错误的内容，需要对其生成的所有内容进行检查。 对于要求提供参考、引用、引文和信息（对于未连接到互联网的模型）的情况尤其危险。 AI 不会真正解释自己，对其思考过程的回答可能是完全编造的。 使用 AI 工具的输出需要承担责任。 在艺术创作方面： 许多 AI 工具会出现幻觉，如照片中突然出现第三只手臂，或者处理请求时间长。 对于试图通过内容实现盈利的用户可能更加令人沮丧。 从技术真相与应对策略角度： 本质：AI 幻觉是模型对训练数据中统计模式的过度依赖，导致无法准确理解和生成新情况的信息，从而输出与现实不符的内容，类似于人类认知偏差中大脑为节省认知资源对信息的扭曲。 表现形式：多种多样且难以察觉，如生成不存在的人物、地点、事件，或对已知事实错误描述；类似于人类的确认偏误、可得性偏差、锚定效应等。 产生原因：都与经验和知识有关，人类受个人成长经历、文化背景、知识结构等影响，而 AI 与训练数据质量、模型结构和训练策略有关，若训练数据有偏差或错误，模型会学习并体现在生成内容中。 影响：可能导致错误决策，如人类在生活中做出错误判断和选择，投资者受可得性偏差影响做出错误投资决策；AI 幻觉可能误导用户、传播虚假信息，甚至在医疗诊断等领域引发安全事故。 目前还没有完全消除 AI 幻觉的方法，但可以通过一些措施来降低其影响。

AI 的幻觉问题主要体现在以下几个方面： 1. 可能编造不存在的 API 或错误代码，需要人工严格审查。 2. 在处理复杂项目时，难以设计架构和模块化，难以完全掌握项目需求，也难以独立完成编译、部署、调试等复杂任务。 3. 许多 AI 工具在艺术创作中会出现幻觉，例如照片中突然出现第三只手臂，或者处理请求时间过长。 4. 当用户追问时，AI 可能会钻牛角尖，给出越来越离谱的答复，还可能不懂装懂，提供错误知识。 针对模型幻觉问题，一些解决技巧包括： 1. 新建一个会话窗口重新提问。 2. 告诉 AI 忘掉之前的所有内容，重新交流。 3. 让 AI 退一步，重新审视整个结构，从零开始设计。 4. 当 AI 猜测并修改问题时，可提供日志让其依据判断问题所在。

以下是关于消除大模型幻觉的方法的相关内容： 大模型出现幻觉的原因及部分解决办法： 1. 原因： 样本存在错误（Imitative Falsehoods），即学习的“教材”中有错误。 2. 解决办法： 上采样（Up Sampling）。 大模型存在的问题： 1. 输出结果具有不可预测性。 2. 静态的训练数据导致知识存在截止日期，无法即时掌握最新信息。 知识的局限性：模型自身的知识源于训练数据，对于实时性、非公开或离线的数据无法获取。 幻觉问题：基于数学概率的文字预测导致会在没有答案的情况下提供虚假信息等。 数据安全性：企业担心数据泄露，不愿将私域数据上传第三方平台训练。 Prompt 可以减少幻觉的原因： Prompt 相当于给大模型提供了一个模板，包括对模型的要求、输入和输出的限制，使大模型在限制下得到概率最大的答案，从而提升返回的准确性。 RAG 是解决大模型问题的有效方案： RAG 可以让大模型从权威的、预先确定的知识来源中检索、组织相关信息，更好地控制大模型生成的文本输出，并且用户可以深入了解 LLM 如何生成最终的结果。RAG 可与微调结合使用，两者并不冲突。但 RAG 不适合教模型理解广泛领域或学习新语言、格式或样式。

要避免 AI 的幻觉，可以从以下几个方面入手： 1. 提示词工程： 明确要求 AI 引用可靠来源，例如在询问历史事件时要求引用权威的历史文献，询问科学事实时要求引用已发表的科研论文，询问法律条款时要求引用官方的法律文件。 要求 AI 提供详细的推理过程，例如在询问数学公式时要求展示推导过程，询问代码功能时要求逐行解释代码的含义。 明确限制 AI 的生成范围，例如在询问名人名言时指定名人的姓名和相关主题，询问新闻事件时指定事件的时间范围和相关关键词。 2. 数据方面： 数据清洗：利用各种技术手段对 AI 的训练数据进行“清洗”，去除错误信息、补充缺失数据、修正不一致的内容，并尽可能消除数据中的偏见。 数据增强：为 AI 模型提供更多、更丰富的训练数据，例如在训练图像识别模型时，对已有的图像进行旋转、缩放、裁剪等操作，生成更多新的样本，从而提高模型的泛化能力。 3. 从伦理和社会角度： 制定 AI 伦理规范：需要制定明确的 AI 伦理规范，引导 AI 技术的研发和应用，确保 AI 系统符合人类的价值观和道德准则，避免 AI 被用于危害人类利益的行为。 加强 AI 监管：加强对 AI 系统的监管，建立完善的评估机制，及时发现和纠正 AI 系统中的错误和偏差，防止 AI 幻觉造成严重后果。 提升公众的 AI 素养：提升公众的 AI 素养，让人们了解 AI 技术的原理和局限性，理性地看待 AI 幻觉问题，避免被 AI 误导。 需要注意的是，提示词工程只是一种辅助手段，要从根本上解决 AI 幻觉问题，还需要从数据、模型、训练方法等多个方面进行努力。同时，AI 幻觉既有负面影响，也可能带来正面价值，我们既要警惕其风险，也要善于利用其带来的机遇。

以下是一些可能有助于您在文献综述写作中应对大模型幻觉问题的方法和工具： 1. 对于 ChatGPT ，您可以使用 temporary chat 功能，保证其在没有任何记忆的情况下生成最新鲜的回答。 2. 当发现模型回答不理想时，可以采取以下技巧： 告诉模型忘掉之前的所有内容，重新提问或新建会话窗口。 让模型退一步，重新审视整个结构，从零开始设计。 对于像 Claude 这种会自己猜测的模型，如果不确定，可以给它看日志，让其依据日志判断问题所在。 3. 您可以参考 Hallucination Leaderboard （大语言模型幻觉排行榜），了解不同模型的幻觉情况，该排行榜使用 Vectara 的 Hughes 幻觉评估模型计算各大模型在总结文档时引入幻觉的频率，用于评估 LLM 的事实一致性，并为 RAG 系统提供参考。完整榜单可通过查看。 4. Claude APP 即将添加网页搜索和推理功能，这或许意味着新模型即将发布，预计发布时间在一两周内。

大模型的系统提示词主要包括以下方面： 1. 在“五津：一键生成‘摸鱼打工猫’视频”中，针对用户选择的主题和回答，总结用户的创作意图，如“打工猫摸鱼的 2 小时，在巴厘岛能看一场日落”，并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词，以数组形式输出到“tishici”，将用户意图输出到“biaoti”。 2. 在“云中江树：智能对决：提示词攻防中的 AI 安全博弈”中，系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意；模型侧对于有能力的厂商应增强安全性并平衡性能，开发者则要在开发中带着安全意识优化系统提示词，加入安全引导和禁止内容等；输出侧可使用传统防御和内容过滤手段，并针对大模型特点进行私有数据泄露等检查。此外，还提到间接注入和提示词泄露的情况，间接注入常发生在应用获取依赖外部数据资源时，攻击者通过隐藏恶意指令完成攻击；提示词泄露指试图操纵模型输出获取部分或全部系统提示词，大模型输出内容可分为系统提示词、用户提示和助手提示词三段，通过攻击手段可获取系统提示词。

以下是对通义千问 Qwen2.5VL 模型的介绍： 版本：有 3B、7B 和 72B 三个尺寸版本。 主要优势： 视觉理解能力：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。 视频理解能力：支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。 万物识别：擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位：采用矩形框和点的多样化方式对通用物体定位，支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解：提升 OCR 识别能力，增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析：设计了更全面的文档解析格式，称为 QwenVL HTML 格式，能够精准还原文档中的版面布局。 增强的视频理解：引入动态帧率（FPS）训练和绝对时间编码技术，支持小时级别的超长视频理解，具备秒级的事件定位能力。 开源平台： Huggingface：https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope：https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat：https://chat.qwenlm.ai 然而，对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型，目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容，因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看，其在视觉理解方面具有较强的能力和优势。

目前在视频视觉理解能力方面表现出色的大模型有： 1. 昆仑万维的 SkyReelsV1：它不仅支持文生视频、图生视频，还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。擅长万物识别，能分析图像中的文本、图表、图标、图形和布局等。

目前全世界较为厉害的视频视觉理解大模型有以下几个： 1. 昆仑万维的 SkyReelsV1：不仅支持文生视频、图生视频，是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元：语义理解能力出色，能精准还原复杂的场景和动作，如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5：全球最快的 AI 视频生成模型，Turbo 模式下可在 10 秒内生成视频，最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能，具备顶尖动漫生成能力。

目前在视觉理解大模型方面，较为突出的有 DeepSeek 的 JanusPro 模型，它将图像理解和生成统一在一个模型中；还有通义千问的视觉理解模型，其价格有较大降幅。此外，Pixverse V3.5 是全球最快的 AI 视频生成模型，在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型，因为这取决于不同的评估标准和应用场景。

大模型对话产品具有以下优点： 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验，具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接，产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务，适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景，如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点： 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情，全靠用户脑补，导致用户上头期短，疲劳度高，长期留存低。 3. 无法回答私有领域问题（如公司制度、人员信息等）。 4. 无法及时获取最新信息（如实时天气、比赛结果等）。 5. 无法准确回答专业问题（如复杂数学计算、图像生成等）。