Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

AI幻觉是什么?

Answer

AI 幻觉是指 AI 系统生成的信息与事实不符或与预期不符的现象。具体表现为:

  • 生成的输出内容看似合理流畅,但实际上与输入信息、上下文环境或客观事实相矛盾,缺乏逻辑或经验支撑。
  • 表现形式多种多样,例如在艺术创作中照片中突然出现第三只手臂。 AI 幻觉存在潜藏的风险:
  • 误导用户,导致用户获取错误信息从而做出错误判断,如医疗 AI 助手给出错误诊断建议可能延误患者治疗。
  • 传播虚假信息,用于制造和传播虚假新闻报道或社交媒体帖子,误导公众,影响社会稳定。
  • 损害 AI 系统的可信度,降低用户对 AI 系统的信任度,阻碍 AI 技术推广和应用。

为了避免 AI 幻觉,需要对其生成的内容进行检查,因为即使是像 GPT-4 这样相对扎实的模型或有互联网连接的 Bing 也不能完全消除幻觉。同时要注意人工智能不会真正解释自己,给出的解释可能是编造的,使用时要对其输出负责,防止被不道德地用来操纵或作弊。

Content generated by AI large model, please carefully verify (powered by aily)

References

【深度揭秘】AI 幻觉背后的技术真相与应对策略,探索人工智能的未来

我们已经了解了人类如何巧妙应对认知偏差,那么对于AI系统,是否也存在类似的“认知陷阱”?答案是肯定的,这就是“AI幻觉”。[heading2]AI幻觉:真实与想象的“迷宫”[content]简单来说,AI幻觉是指AI系统生成的信息与事实不符,或者与预期不符,就像人工智能在“一本正经地胡说八道”。这些“胡说八道”不是AI故意的,而是技术局限性造成的错误。AI幻觉的定义可以概括为:AI系统生成的输出内容看似合理流畅,但实际上与输入信息、上下文环境或客观事实相矛盾,缺乏逻辑或经验支撑。[heading2]AI幻觉:“多重面孔”[content]AI幻觉的表现形式多种多样,如下图所示:[heading2]AI幻觉:潜藏的风险[content]AI幻觉看似“小错误”,但在实际应用中可能带来巨大风险。误导用户:AI幻觉会导致用户获取错误信息,从而做出错误判断。例如,医疗AI助手给出错误诊断建议,可能延误患者治疗。传播虚假信息:AI幻觉可能被用于制造和传播虚假信息,误导公众,影响社会稳定。例如,AI可以生成虚假新闻报道或社交媒体帖子,用于政治宣传或商业炒作。损害AI系统的可信度:AI幻觉会降低用户对AI系统的信任度,阻碍AI技术推广和应用。例如,如果用户发现AI经常“胡说八道”,他们可能不再信任AI的判断,甚至拒绝使用AI产品。

生成式 AI:下一个消费者平台

今天,许多AI工具都会出现幻觉(例如,照片中突然出现第三只手臂!)或者需要很长时间才能处理请求。对于大多数消费者来说,这可能是可以接受的,但如果你试图通过内容实现盈利,这可能会令人更加沮丧。为了满足这些高级用户的需求,我们预计许多公司将添加提供更高质量服务的“专业版”套餐——正如ChatGPT[已经做到的那样](https://techcrunch.com/2023/02/01/openai-launches-chatgpt-plus-starting-at-20-per-month/)。

如何使用 AI 来做事:一份带有观点的指南

为了回应你的答案,AI很容易“产生幻觉”并生成看似合理的事实。它可以生成完全错误的内容,而且非常令人信服。让我强调一下:AI连续且良好地撒谎。它告诉你的每一件事或信息可能都是不正确的。你需要检查所有的东西。你需要全部检查一下。特别危险的是要求它为互联网提供参考、引用、引文和信息(对于未连接到互联网的模型)。因为GPT-4通常更加扎实,因为Bing的互联网连接意味着它实际上可以拉入相关事实。[这是一份避免幻觉的指南](https://oneusefulthing.substack.com/p/how-to-get-an-ai-to-lie-to-you-in),但它们不可能完全消除。另请注意,人工智能不会解释自己,它只会让你认为它解释了自己。如果你要求它解释它为什么写东西,它会给你一个完全编造的合理答案。当你询问它的思考过程时,它并没有审查自己的行动,它只是生成听起来像它在做这样的文本。这使得理解系统中的偏见非常困难,尽管这些偏见几乎肯定存在。它也可以被不道德地用来操纵或作弊。你对这些工具的输出负责。

Others are asking
如何让企业微信可以接上 AI?让我的企业微信号变成一个 AI 客服
要让企业微信接上 AI 并变成一个 AI 客服,可以参考以下内容: 1. 基于 COW 框架的 ChatBot 实现方案:这是一个基于大模型搭建的 Chat 机器人框架,可以将多模型塞进微信(包括企业微信)里。张梦飞同学写了更适合小白的使用教程,链接为: 。 可以实现打造属于自己的 ChatBot,包括文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等功能,以及常用开源插件的安装应用。 正式开始前需要知道:本实现思路需要接入大模型 API 的方式实现(API 单独付费)。 风险与注意事项:微信端因为是非常规使用,会有封号危险,不建议主力微信号接入;只探讨操作步骤,请依法合规使用,大模型生成的内容注意甄别,确保所有操作均符合相关法律法规的要求,禁止将此操作用于任何非法目的,处理敏感或个人隐私数据时注意脱敏,以防任何可能的滥用或泄露。 支持多平台接入,如微信、企业微信、公众号、飞书、钉钉等;多模型选择,如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等等;多消息类型支持,能处理文本、语音和图片,以及基于自有知识库进行定制的企业智能客服功能;多部署方法,如本地运行、服务器运行、Docker 的方式。 2. DIN 配置:先配置 FastGpt、OneAPI,装上 AI 的大脑后,可体验知识库功能并与 AI 对话。新建应用,在知识库菜单新建知识库,上传文件或写入信息,最后将拥有知识库能力的 AI 助手接入微信。
2025-05-09
围棋AI
围棋 AI 领域具有重要的研究价值和突破。在古老的围棋游戏中,AI 面临着巨大挑战,如搜索空间大、棋面评估难等。DeepMind 团队通过提出全新方法,利用价值网络评估棋面优劣,策略网络选择最佳落子,且两个网络以人类高手对弈和 AI 自我博弈数据为基础训练,达到蒙特卡洛树搜索水平,并将其与蒙特卡洛树搜索有机结合,取得了前所未有的突破。在复杂领域 AI 第一次战胜人类的神来之笔 37 步,也预示着在其他复杂领域 AI 与人类智能对比的进一步突破可能。此外,神经网络在处理未知规则方面具有优势,虽然传统方法在处理象棋问题上可行,但对于围棋则困难重重,而神经网络专门应对此类未知规则情况。关于这部分内容,推荐阅读《这就是 ChatGPT》一书,其作者备受推崇,美团技术学院院长刘江老师的导读序也有助于了解 AI 和大语言模型计算路线的发展。
2025-05-08
什么AI工具可以实现提取多个指定网页的更新内容
以下 AI 工具可以实现提取多个指定网页的更新内容: 1. Coze:支持自动采集和手动采集两种方式。自动采集包括从单个页面或批量从指定网站中导入内容,可选择是否自动更新指定页面的内容及更新频率。批量添加网页内容时,输入要批量添加的网页内容的根地址或 sitemap 地址然后单击导入。手动采集需要先安装浏览器扩展程序,标注要采集的内容,内容上传成功率高。 2. AI Share Card:能够一键解析各类网页内容,生成推荐文案,把分享链接转换为精美的二维码分享卡。通过用户浏览器,以浏览器插件形式本地提取网页内容。
2025-05-01
AI文生视频
以下是关于文字生成视频(文生视频)的相关信息: 一些提供文生视频功能的产品: Pika:擅长动画制作,支持视频编辑。 SVD:Stable Diffusion 的插件,可在图片基础上生成视频。 Runway:老牌工具,提供实时涂抹修改视频功能,但收费。 Kaiber:视频转视频 AI,能将原视频转换成各种风格。 Sora:由 OpenAI 开发,可生成长达 1 分钟以上的视频。 更多相关网站可查看:https://www.waytoagi.com/category/38 。 制作 5 秒单镜头文生视频的实操步骤(以梦 AI 为例): 进入平台:打开梦 AI 网站并登录,新用户有积分可免费体验。 输入提示词:涵盖景别、主体、环境、光线、动作、运镜等描述。 选择参数并点击生成:确认提示词无误后,选择模型、画面比例,点击「生成」按钮。 预览与下载:生成完毕后预览视频,满意则下载保存,不理想可调整提示词再试。 视频模型 Sora:OpenAI 发布的首款文生视频模型,能根据文字指令创造逼真且充满想象力的场景,可生成长达 1 分钟的一镜到底超长视频,视频中的人物和镜头具有惊人的一致性和稳定性。
2025-04-20
Ai在设备风控场景的落地
AI 在设备风控场景的落地可以从以下几个方面考虑: 法律法规方面:《促进创新的人工智能监管方法》指出,AI 的发展带来了一系列新的安全风险,如对个人、组织和关键基础设施的风险。在设备风控中,需要关注法律框架是否能充分应对 AI 带来的风险,如数据隐私、公平性等问题。 趋势研究方面:在制造业中,AI Agent 可用于生产决策、设备维护、供应链协调等。例如,在工业设备监控与预防性维护中,Agent 能通过监测传感器数据识别异常模式,提前通知检修,减少停机损失和维修成本。在生产计划、供应链管理、质量控制、协作机器人、仓储物流、产品设计、建筑工程和能源管理等方面,AI Agent 也能发挥重要作用,实现生产的无人化、决策的数据化和响应的实时化。
2025-04-20
ai视频
以下是 4 月 11 日、4 月 9 日和 4 月 14 日的 AI 视频相关资讯汇总: 4 月 11 日: Pika 上线 Pika Twists 能力,可控制修改原视频中的任何角色或物体。 Higgsfield Mix 在图生视频中,结合多种镜头运动预设与视觉特效生成视频。 FantasyTalking 是阿里技术,可制作角色口型同步视频并具有逼真的面部和全身动作。 LAM 开源技术,实现从单张图片快速生成超逼真的 3D 头像,在任何设备上快速渲染实现实时互动聊天。 Krea 演示新工具 Krea Stage,通过图片生成可自由拼装 3D 场景,再实现风格化渲染。 Veo 2 现已通过 Gemini API 向开发者开放。 Freepik 发布视频编辑器。 Pusa 视频生成模型,无缝支持各种视频生成任务(文本/图像/视频到视频)。 4 月 9 日: ACTalker 是多模态驱动的人物说话视频生成。 Viggle 升级 Mic 2.0 能力。 TestTime Training在英伟达协助研究下,可生成完整的 1 分钟视频。 4 月 14 日: 字节发布一款经济高效的视频生成基础模型 Seaweed7B。 可灵的 AI 视频模型可灵 2.0 大师版及 AI 绘图模型可图 2.0 即将上线。
2025-04-20
ai幻觉
AI 幻觉是指 AI 在生成内容时出现的错误或与现实世界不符的情况。以下是关于 AI 幻觉的一些重要方面: 在写东西方面: AI 容易“产生幻觉”并生成看似合理但可能完全错误的内容,需要对其生成的所有内容进行检查。 对于要求提供参考、引用、引文和信息(对于未连接到互联网的模型)的情况尤其危险。 AI 不会真正解释自己,对其思考过程的回答可能是完全编造的。 使用 AI 工具的输出需要承担责任。 在艺术创作方面: 许多 AI 工具会出现幻觉,如照片中突然出现第三只手臂,或者处理请求时间长。 对于试图通过内容实现盈利的用户可能更加令人沮丧。 从技术真相与应对策略角度: 本质:AI 幻觉是模型对训练数据中统计模式的过度依赖,导致无法准确理解和生成新情况的信息,从而输出与现实不符的内容,类似于人类认知偏差中大脑为节省认知资源对信息的扭曲。 表现形式:多种多样且难以察觉,如生成不存在的人物、地点、事件,或对已知事实错误描述;类似于人类的确认偏误、可得性偏差、锚定效应等。 产生原因:都与经验和知识有关,人类受个人成长经历、文化背景、知识结构等影响,而 AI 与训练数据质量、模型结构和训练策略有关,若训练数据有偏差或错误,模型会学习并体现在生成内容中。 影响:可能导致错误决策,如人类在生活中做出错误判断和选择,投资者受可得性偏差影响做出错误投资决策;AI 幻觉可能误导用户、传播虚假信息,甚至在医疗诊断等领域引发安全事故。 目前还没有完全消除 AI 幻觉的方法,但可以通过一些措施来降低其影响。
2025-03-19
ai的幻觉问题
AI 的幻觉问题主要体现在以下几个方面: 1. 可能编造不存在的 API 或错误代码,需要人工严格审查。 2. 在处理复杂项目时,难以设计架构和模块化,难以完全掌握项目需求,也难以独立完成编译、部署、调试等复杂任务。 3. 许多 AI 工具在艺术创作中会出现幻觉,例如照片中突然出现第三只手臂,或者处理请求时间过长。 4. 当用户追问时,AI 可能会钻牛角尖,给出越来越离谱的答复,还可能不懂装懂,提供错误知识。 针对模型幻觉问题,一些解决技巧包括: 1. 新建一个会话窗口重新提问。 2. 告诉 AI 忘掉之前的所有内容,重新交流。 3. 让 AI 退一步,重新审视整个结构,从零开始设计。 4. 当 AI 猜测并修改问题时,可提供日志让其依据判断问题所在。
2025-03-19
消除大模型幻觉的方法
以下是关于消除大模型幻觉的方法的相关内容: 大模型出现幻觉的原因及部分解决办法: 1. 原因: 样本存在错误(Imitative Falsehoods),即学习的“教材”中有错误。 2. 解决办法: 上采样(Up Sampling)。 大模型存在的问题: 1. 输出结果具有不可预测性。 2. 静态的训练数据导致知识存在截止日期,无法即时掌握最新信息。 知识的局限性:模型自身的知识源于训练数据,对于实时性、非公开或离线的数据无法获取。 幻觉问题:基于数学概率的文字预测导致会在没有答案的情况下提供虚假信息等。 数据安全性:企业担心数据泄露,不愿将私域数据上传第三方平台训练。 Prompt 可以减少幻觉的原因: Prompt 相当于给大模型提供了一个模板,包括对模型的要求、输入和输出的限制,使大模型在限制下得到概率最大的答案,从而提升返回的准确性。 RAG 是解决大模型问题的有效方案: RAG 可以让大模型从权威的、预先确定的知识来源中检索、组织相关信息,更好地控制大模型生成的文本输出,并且用户可以深入了解 LLM 如何生成最终的结果。RAG 可与微调结合使用,两者并不冲突。但 RAG 不适合教模型理解广泛领域或学习新语言、格式或样式。
2025-03-17
如何避免ai的幻觉
要避免 AI 的幻觉,可以从以下几个方面入手: 1. 提示词工程: 明确要求 AI 引用可靠来源,例如在询问历史事件时要求引用权威的历史文献,询问科学事实时要求引用已发表的科研论文,询问法律条款时要求引用官方的法律文件。 要求 AI 提供详细的推理过程,例如在询问数学公式时要求展示推导过程,询问代码功能时要求逐行解释代码的含义。 明确限制 AI 的生成范围,例如在询问名人名言时指定名人的姓名和相关主题,询问新闻事件时指定事件的时间范围和相关关键词。 2. 数据方面: 数据清洗:利用各种技术手段对 AI 的训练数据进行“清洗”,去除错误信息、补充缺失数据、修正不一致的内容,并尽可能消除数据中的偏见。 数据增强:为 AI 模型提供更多、更丰富的训练数据,例如在训练图像识别模型时,对已有的图像进行旋转、缩放、裁剪等操作,生成更多新的样本,从而提高模型的泛化能力。 3. 从伦理和社会角度: 制定 AI 伦理规范:需要制定明确的 AI 伦理规范,引导 AI 技术的研发和应用,确保 AI 系统符合人类的价值观和道德准则,避免 AI 被用于危害人类利益的行为。 加强 AI 监管:加强对 AI 系统的监管,建立完善的评估机制,及时发现和纠正 AI 系统中的错误和偏差,防止 AI 幻觉造成严重后果。 提升公众的 AI 素养:提升公众的 AI 素养,让人们了解 AI 技术的原理和局限性,理性地看待 AI 幻觉问题,避免被 AI 误导。 需要注意的是,提示词工程只是一种辅助手段,要从根本上解决 AI 幻觉问题,还需要从数据、模型、训练方法等多个方面进行努力。同时,AI 幻觉既有负面影响,也可能带来正面价值,我们既要警惕其风险,也要善于利用其带来的机遇。
2025-03-07
我是经济学研究者,经常写作学术论文,投稿SSCI期刊,大模型幻觉太严重,在辅助文献综述写作方面,基本没有用处。你有好的用于文献综述写作的AI辅助工具吗?
以下是一些可能有助于您在文献综述写作中应对大模型幻觉问题的方法和工具: 1. 对于 ChatGPT ,您可以使用 temporary chat 功能,保证其在没有任何记忆的情况下生成最新鲜的回答。 2. 当发现模型回答不理想时,可以采取以下技巧: 告诉模型忘掉之前的所有内容,重新提问或新建会话窗口。 让模型退一步,重新审视整个结构,从零开始设计。 对于像 Claude 这种会自己猜测的模型,如果不确定,可以给它看日志,让其依据日志判断问题所在。 3. 您可以参考 Hallucination Leaderboard (大语言模型幻觉排行榜),了解不同模型的幻觉情况,该排行榜使用 Vectara 的 Hughes 幻觉评估模型计算各大模型在总结文档时引入幻觉的频率,用于评估 LLM 的事实一致性,并为 RAG 系统提供参考。完整榜单可通过查看。 4. Claude APP 即将添加网页搜索和推理功能,这或许意味着新模型即将发布,预计发布时间在一两周内。
2025-03-06
基础搭建的知识库效果很差,模型答案的幻觉很严重,我应该怎么改进?(Deepseek调用api接入本地faiss的rag库)
以下是一些改进基础搭建的知识库效果、减轻模型答案幻觉问题的建议: 1. 更换大模型:例如从 ChatGLM26B 替换成 baichuan213b,针对您的场景,后者的性能可能提升一倍左右。 2. 更换 embedding 模型:将 embedding 模型从 LangChain Chatchat 默认的 m3ebase 替换为 bgelargezh,后者可能更优。 3. 测试不同 Top k 的值:比较 Top 5、Top 10、Top 15 的结果,发现 Top 10 时效果可能最优。 4. 对文档名称进行处理:人工对文件进行重命名,上传相同文件构建知识库,同时在构建知识库时勾选【开启中文标题加强】选项,虽然重命名文件对结果的提升效果不明显,但勾选该选项后,回答的无关信息可能减少,效果有所提升。 RAG(RetrievalAugmented Generation)即检索增强生成,由检索器和生成器两部分组成。检索器从外部知识中快速找到与问题相关的信息,生成器利用这些信息制作精确连贯的答案,适合处理需要广泛知识的任务。 在大模型中,向量可想象成空间中的点位,每个词或短语对应一个点。系统通过查看词在虚拟空间中点的位置,寻找直线距离最近的点来检索语义上接近的词语或信息。理解向量后,当收到一个对话时,RAG 的完整工作流程为:检索器从外部知识中检索相关信息,生成器利用这些信息生成答案。 要优化幻觉问题和提高准确性,需要了解从“问题输入”到“得到回复”的过程,针对每个环节逐个调优,以达到最佳效果。
2025-02-27