Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

AI幻觉是什么?

Answer

AI 幻觉是指 AI 系统生成的信息与事实不符或与预期不符的现象。具体表现为:

  • 生成的输出内容看似合理流畅,但实际上与输入信息、上下文环境或客观事实相矛盾,缺乏逻辑或经验支撑。
  • 表现形式多种多样,例如在艺术创作中照片中突然出现第三只手臂。 AI 幻觉存在潜藏的风险:
  • 误导用户,导致用户获取错误信息从而做出错误判断,如医疗 AI 助手给出错误诊断建议可能延误患者治疗。
  • 传播虚假信息,用于制造和传播虚假新闻报道或社交媒体帖子,误导公众,影响社会稳定。
  • 损害 AI 系统的可信度,降低用户对 AI 系统的信任度,阻碍 AI 技术推广和应用。

为了避免 AI 幻觉,需要对其生成的内容进行检查,因为即使是像 GPT-4 这样相对扎实的模型或有互联网连接的 Bing 也不能完全消除幻觉。同时要注意人工智能不会真正解释自己,给出的解释可能是编造的,使用时要对其输出负责,防止被不道德地用来操纵或作弊。

Content generated by AI large model, please carefully verify (powered by aily)

References

【深度揭秘】AI 幻觉背后的技术真相与应对策略,探索人工智能的未来

我们已经了解了人类如何巧妙应对认知偏差,那么对于AI系统,是否也存在类似的“认知陷阱”?答案是肯定的,这就是“AI幻觉”。[heading2]AI幻觉:真实与想象的“迷宫”[content]简单来说,AI幻觉是指AI系统生成的信息与事实不符,或者与预期不符,就像人工智能在“一本正经地胡说八道”。这些“胡说八道”不是AI故意的,而是技术局限性造成的错误。AI幻觉的定义可以概括为:AI系统生成的输出内容看似合理流畅,但实际上与输入信息、上下文环境或客观事实相矛盾,缺乏逻辑或经验支撑。[heading2]AI幻觉:“多重面孔”[content]AI幻觉的表现形式多种多样,如下图所示:[heading2]AI幻觉:潜藏的风险[content]AI幻觉看似“小错误”,但在实际应用中可能带来巨大风险。误导用户:AI幻觉会导致用户获取错误信息,从而做出错误判断。例如,医疗AI助手给出错误诊断建议,可能延误患者治疗。传播虚假信息:AI幻觉可能被用于制造和传播虚假信息,误导公众,影响社会稳定。例如,AI可以生成虚假新闻报道或社交媒体帖子,用于政治宣传或商业炒作。损害AI系统的可信度:AI幻觉会降低用户对AI系统的信任度,阻碍AI技术推广和应用。例如,如果用户发现AI经常“胡说八道”,他们可能不再信任AI的判断,甚至拒绝使用AI产品。

生成式 AI:下一个消费者平台

今天,许多AI工具都会出现幻觉(例如,照片中突然出现第三只手臂!)或者需要很长时间才能处理请求。对于大多数消费者来说,这可能是可以接受的,但如果你试图通过内容实现盈利,这可能会令人更加沮丧。为了满足这些高级用户的需求,我们预计许多公司将添加提供更高质量服务的“专业版”套餐——正如ChatGPT[已经做到的那样](https://techcrunch.com/2023/02/01/openai-launches-chatgpt-plus-starting-at-20-per-month/)。

如何使用 AI 来做事:一份带有观点的指南

为了回应你的答案,AI很容易“产生幻觉”并生成看似合理的事实。它可以生成完全错误的内容,而且非常令人信服。让我强调一下:AI连续且良好地撒谎。它告诉你的每一件事或信息可能都是不正确的。你需要检查所有的东西。你需要全部检查一下。特别危险的是要求它为互联网提供参考、引用、引文和信息(对于未连接到互联网的模型)。因为GPT-4通常更加扎实,因为Bing的互联网连接意味着它实际上可以拉入相关事实。[这是一份避免幻觉的指南](https://oneusefulthing.substack.com/p/how-to-get-an-ai-to-lie-to-you-in),但它们不可能完全消除。另请注意,人工智能不会解释自己,它只会让你认为它解释了自己。如果你要求它解释它为什么写东西,它会给你一个完全编造的合理答案。当你询问它的思考过程时,它并没有审查自己的行动,它只是生成听起来像它在做这样的文本。这使得理解系统中的偏见非常困难,尽管这些偏见几乎肯定存在。它也可以被不道德地用来操纵或作弊。你对这些工具的输出负责。

Others are asking
什么AI工具可以实现提取多个指定网页的更新内容
以下 AI 工具可以实现提取多个指定网页的更新内容: 1. Coze:支持自动采集和手动采集两种方式。自动采集包括从单个页面或批量从指定网站中导入内容,可选择是否自动更新指定页面的内容及更新频率。批量添加网页内容时,输入要批量添加的网页内容的根地址或 sitemap 地址然后单击导入。手动采集需要先安装浏览器扩展程序,标注要采集的内容,内容上传成功率高。 2. AI Share Card:能够一键解析各类网页内容,生成推荐文案,把分享链接转换为精美的二维码分享卡。通过用户浏览器,以浏览器插件形式本地提取网页内容。
2025-05-01
AI文生视频
以下是关于文字生成视频(文生视频)的相关信息: 一些提供文生视频功能的产品: Pika:擅长动画制作,支持视频编辑。 SVD:Stable Diffusion 的插件,可在图片基础上生成视频。 Runway:老牌工具,提供实时涂抹修改视频功能,但收费。 Kaiber:视频转视频 AI,能将原视频转换成各种风格。 Sora:由 OpenAI 开发,可生成长达 1 分钟以上的视频。 更多相关网站可查看:https://www.waytoagi.com/category/38 。 制作 5 秒单镜头文生视频的实操步骤(以梦 AI 为例): 进入平台:打开梦 AI 网站并登录,新用户有积分可免费体验。 输入提示词:涵盖景别、主体、环境、光线、动作、运镜等描述。 选择参数并点击生成:确认提示词无误后,选择模型、画面比例,点击「生成」按钮。 预览与下载:生成完毕后预览视频,满意则下载保存,不理想可调整提示词再试。 视频模型 Sora:OpenAI 发布的首款文生视频模型,能根据文字指令创造逼真且充满想象力的场景,可生成长达 1 分钟的一镜到底超长视频,视频中的人物和镜头具有惊人的一致性和稳定性。
2025-04-20
Ai在设备风控场景的落地
AI 在设备风控场景的落地可以从以下几个方面考虑: 法律法规方面:《促进创新的人工智能监管方法》指出,AI 的发展带来了一系列新的安全风险,如对个人、组织和关键基础设施的风险。在设备风控中,需要关注法律框架是否能充分应对 AI 带来的风险,如数据隐私、公平性等问题。 趋势研究方面:在制造业中,AI Agent 可用于生产决策、设备维护、供应链协调等。例如,在工业设备监控与预防性维护中,Agent 能通过监测传感器数据识别异常模式,提前通知检修,减少停机损失和维修成本。在生产计划、供应链管理、质量控制、协作机器人、仓储物流、产品设计、建筑工程和能源管理等方面,AI Agent 也能发挥重要作用,实现生产的无人化、决策的数据化和响应的实时化。
2025-04-20
ai视频
以下是 4 月 11 日、4 月 9 日和 4 月 14 日的 AI 视频相关资讯汇总: 4 月 11 日: Pika 上线 Pika Twists 能力,可控制修改原视频中的任何角色或物体。 Higgsfield Mix 在图生视频中,结合多种镜头运动预设与视觉特效生成视频。 FantasyTalking 是阿里技术,可制作角色口型同步视频并具有逼真的面部和全身动作。 LAM 开源技术,实现从单张图片快速生成超逼真的 3D 头像,在任何设备上快速渲染实现实时互动聊天。 Krea 演示新工具 Krea Stage,通过图片生成可自由拼装 3D 场景,再实现风格化渲染。 Veo 2 现已通过 Gemini API 向开发者开放。 Freepik 发布视频编辑器。 Pusa 视频生成模型,无缝支持各种视频生成任务(文本/图像/视频到视频)。 4 月 9 日: ACTalker 是多模态驱动的人物说话视频生成。 Viggle 升级 Mic 2.0 能力。 TestTime Training在英伟达协助研究下,可生成完整的 1 分钟视频。 4 月 14 日: 字节发布一款经济高效的视频生成基础模型 Seaweed7B。 可灵的 AI 视频模型可灵 2.0 大师版及 AI 绘图模型可图 2.0 即将上线。
2025-04-20
ai视频教学
以下是为您提供的 AI 视频教学相关内容: 1. 第一节回放 AI 编程从入门到精通: 课程安排:19、20、22 和 28 号四天进行 AI 编程教学,周五晚上穿插 AI 视频教学。 视频预告:周五晚上邀请小龙问露露拆解爆火的 AI 视频制作,视频在视频号上有大量转发和播放。 编程工具 tree:整合多种模型,可免费无限量试用,下载需科学上网,Mac 可拖到文件夹安装,推荐注册 GitHub 账号用于代码存储和发布,主界面分为工具区、AI 干活区、右侧功能区等。 网络不稳定处理:网络不稳定时尝试更换节点。 项目克隆与文件夹:每个项目通过在本地新建文件夹来区分,项目运行一轮一轮进行,可新建会话,终端可重开。 GitHub 仓库创建:仓库相当于本地项目,可新建,新建后有地址,可通过多种方式上传。 Python 环境安装:为方便安装提供了安装包,安装时要选特定选项,安装后通过命令确认。 代码生成与修改:在 tree 中输入需求生成代码,可对生成的代码提出修改要求,如添加滑动条、雪花形状、颜色等,修改后审查并接受。 2. AI 视频提示词库: 神秘风 Arcane:Prompt:a robot is walking through a destroyed city,,League of Legends style,game modelling 乐高 Lego:Prompt:a robot is walking through a destroyed city,,lego movie style,bright colours,block building style 模糊背景 Blur Background:Prompt:a robot is walking through a destroyed city,,emphasis on foreground elements,sharp focus,soft background 宫崎骏 Ghibli:Prompt:a robot is walking through a destroyed city,,Spirited Away,Howl's Moving Castle,dreamy colour palette 蒸汽朋克 Steampunk:Prompt:a robot is walking through a destroyed city,,fantasy,gear decoration,brass metal robotics,3d game 印象派 Impressionism:Prompt:a robot is walking through a destroyed city,,big movements
2025-04-20
ai写程序
以下是关于使用 AI 写程序的相关内容: 1. 对于技术纯小白: 从最基础的小任务开始,让 AI 按照最佳实践写一个 say hello 的示例程序,并解释每个文件的作用及程序运行的逻辑,以学会必备的调试技能。 若学习写 chrome 插件,可让 AI 按照最佳实践生成简单的示范项目,包含全面的典型文件和功能,并讲解每个文件的作用和程序运行的逻辑。若使用 o1mini,可在提示词最后添加生成创建脚本的要求,并请教如何运行脚本(Windows 机器则是 create.cmd)。 2. 明确项目需求: 通过与 AI 的对话逐步明确项目需求。 让 AI 帮助梳理出产品需求文档,在后续开发时每次新起聊天将文档发给 AI 并告知在做的功能点。 3. 在独立游戏开发中的经验: 单独让 AI 写小功能没问题,但对于复杂的程序框架,可把不方便配表而又需要撰写的简单、模板化、多调用 API 且牵涉小部分特殊逻辑的代码交给 AI。 以 Buff 系统为例,可让 AI 仿照代码写一些 Buff。但目前 Cursor 生成复杂代码需要复杂的前期调教,ChatGPT 相对更方便。 教 AI 时要像哄小孩,及时肯定正确的,指出错误时要克制,不断完善其经验。 4. 相关资源和平台: AI 写小游戏平台:https://poe.com/ 图片网站:https://imgur.com/ 改 bug 的网站:https://v0.dev/chat 国内小游戏发布平台:https://open.4399.cn/console/ 需要注意的是,使用 AI 写程序时,对于技术小白来说,入门容易但深入较难,若没有技术背景可能提不出问题,从而影响 AI 发挥作用。
2025-04-19
ai幻觉
AI 幻觉是指 AI 在生成内容时出现的错误或与现实世界不符的情况。以下是关于 AI 幻觉的一些重要方面: 在写东西方面: AI 容易“产生幻觉”并生成看似合理但可能完全错误的内容,需要对其生成的所有内容进行检查。 对于要求提供参考、引用、引文和信息(对于未连接到互联网的模型)的情况尤其危险。 AI 不会真正解释自己,对其思考过程的回答可能是完全编造的。 使用 AI 工具的输出需要承担责任。 在艺术创作方面: 许多 AI 工具会出现幻觉,如照片中突然出现第三只手臂,或者处理请求时间长。 对于试图通过内容实现盈利的用户可能更加令人沮丧。 从技术真相与应对策略角度: 本质:AI 幻觉是模型对训练数据中统计模式的过度依赖,导致无法准确理解和生成新情况的信息,从而输出与现实不符的内容,类似于人类认知偏差中大脑为节省认知资源对信息的扭曲。 表现形式:多种多样且难以察觉,如生成不存在的人物、地点、事件,或对已知事实错误描述;类似于人类的确认偏误、可得性偏差、锚定效应等。 产生原因:都与经验和知识有关,人类受个人成长经历、文化背景、知识结构等影响,而 AI 与训练数据质量、模型结构和训练策略有关,若训练数据有偏差或错误,模型会学习并体现在生成内容中。 影响:可能导致错误决策,如人类在生活中做出错误判断和选择,投资者受可得性偏差影响做出错误投资决策;AI 幻觉可能误导用户、传播虚假信息,甚至在医疗诊断等领域引发安全事故。 目前还没有完全消除 AI 幻觉的方法,但可以通过一些措施来降低其影响。
2025-03-19
ai的幻觉问题
AI 的幻觉问题主要体现在以下几个方面: 1. 可能编造不存在的 API 或错误代码,需要人工严格审查。 2. 在处理复杂项目时,难以设计架构和模块化,难以完全掌握项目需求,也难以独立完成编译、部署、调试等复杂任务。 3. 许多 AI 工具在艺术创作中会出现幻觉,例如照片中突然出现第三只手臂,或者处理请求时间过长。 4. 当用户追问时,AI 可能会钻牛角尖,给出越来越离谱的答复,还可能不懂装懂,提供错误知识。 针对模型幻觉问题,一些解决技巧包括: 1. 新建一个会话窗口重新提问。 2. 告诉 AI 忘掉之前的所有内容,重新交流。 3. 让 AI 退一步,重新审视整个结构,从零开始设计。 4. 当 AI 猜测并修改问题时,可提供日志让其依据判断问题所在。
2025-03-19
消除大模型幻觉的方法
以下是关于消除大模型幻觉的方法的相关内容: 大模型出现幻觉的原因及部分解决办法: 1. 原因: 样本存在错误(Imitative Falsehoods),即学习的“教材”中有错误。 2. 解决办法: 上采样(Up Sampling)。 大模型存在的问题: 1. 输出结果具有不可预测性。 2. 静态的训练数据导致知识存在截止日期,无法即时掌握最新信息。 知识的局限性:模型自身的知识源于训练数据,对于实时性、非公开或离线的数据无法获取。 幻觉问题:基于数学概率的文字预测导致会在没有答案的情况下提供虚假信息等。 数据安全性:企业担心数据泄露,不愿将私域数据上传第三方平台训练。 Prompt 可以减少幻觉的原因: Prompt 相当于给大模型提供了一个模板,包括对模型的要求、输入和输出的限制,使大模型在限制下得到概率最大的答案,从而提升返回的准确性。 RAG 是解决大模型问题的有效方案: RAG 可以让大模型从权威的、预先确定的知识来源中检索、组织相关信息,更好地控制大模型生成的文本输出,并且用户可以深入了解 LLM 如何生成最终的结果。RAG 可与微调结合使用,两者并不冲突。但 RAG 不适合教模型理解广泛领域或学习新语言、格式或样式。
2025-03-17
如何避免ai的幻觉
要避免 AI 的幻觉,可以从以下几个方面入手: 1. 提示词工程: 明确要求 AI 引用可靠来源,例如在询问历史事件时要求引用权威的历史文献,询问科学事实时要求引用已发表的科研论文,询问法律条款时要求引用官方的法律文件。 要求 AI 提供详细的推理过程,例如在询问数学公式时要求展示推导过程,询问代码功能时要求逐行解释代码的含义。 明确限制 AI 的生成范围,例如在询问名人名言时指定名人的姓名和相关主题,询问新闻事件时指定事件的时间范围和相关关键词。 2. 数据方面: 数据清洗:利用各种技术手段对 AI 的训练数据进行“清洗”,去除错误信息、补充缺失数据、修正不一致的内容,并尽可能消除数据中的偏见。 数据增强:为 AI 模型提供更多、更丰富的训练数据,例如在训练图像识别模型时,对已有的图像进行旋转、缩放、裁剪等操作,生成更多新的样本,从而提高模型的泛化能力。 3. 从伦理和社会角度: 制定 AI 伦理规范:需要制定明确的 AI 伦理规范,引导 AI 技术的研发和应用,确保 AI 系统符合人类的价值观和道德准则,避免 AI 被用于危害人类利益的行为。 加强 AI 监管:加强对 AI 系统的监管,建立完善的评估机制,及时发现和纠正 AI 系统中的错误和偏差,防止 AI 幻觉造成严重后果。 提升公众的 AI 素养:提升公众的 AI 素养,让人们了解 AI 技术的原理和局限性,理性地看待 AI 幻觉问题,避免被 AI 误导。 需要注意的是,提示词工程只是一种辅助手段,要从根本上解决 AI 幻觉问题,还需要从数据、模型、训练方法等多个方面进行努力。同时,AI 幻觉既有负面影响,也可能带来正面价值,我们既要警惕其风险,也要善于利用其带来的机遇。
2025-03-07
我是经济学研究者,经常写作学术论文,投稿SSCI期刊,大模型幻觉太严重,在辅助文献综述写作方面,基本没有用处。你有好的用于文献综述写作的AI辅助工具吗?
以下是一些可能有助于您在文献综述写作中应对大模型幻觉问题的方法和工具: 1. 对于 ChatGPT ,您可以使用 temporary chat 功能,保证其在没有任何记忆的情况下生成最新鲜的回答。 2. 当发现模型回答不理想时,可以采取以下技巧: 告诉模型忘掉之前的所有内容,重新提问或新建会话窗口。 让模型退一步,重新审视整个结构,从零开始设计。 对于像 Claude 这种会自己猜测的模型,如果不确定,可以给它看日志,让其依据日志判断问题所在。 3. 您可以参考 Hallucination Leaderboard (大语言模型幻觉排行榜),了解不同模型的幻觉情况,该排行榜使用 Vectara 的 Hughes 幻觉评估模型计算各大模型在总结文档时引入幻觉的频率,用于评估 LLM 的事实一致性,并为 RAG 系统提供参考。完整榜单可通过查看。 4. Claude APP 即将添加网页搜索和推理功能,这或许意味着新模型即将发布,预计发布时间在一两周内。
2025-03-06
基础搭建的知识库效果很差,模型答案的幻觉很严重,我应该怎么改进?(Deepseek调用api接入本地faiss的rag库)
以下是一些改进基础搭建的知识库效果、减轻模型答案幻觉问题的建议: 1. 更换大模型:例如从 ChatGLM26B 替换成 baichuan213b,针对您的场景,后者的性能可能提升一倍左右。 2. 更换 embedding 模型:将 embedding 模型从 LangChain Chatchat 默认的 m3ebase 替换为 bgelargezh,后者可能更优。 3. 测试不同 Top k 的值:比较 Top 5、Top 10、Top 15 的结果,发现 Top 10 时效果可能最优。 4. 对文档名称进行处理:人工对文件进行重命名,上传相同文件构建知识库,同时在构建知识库时勾选【开启中文标题加强】选项,虽然重命名文件对结果的提升效果不明显,但勾选该选项后,回答的无关信息可能减少,效果有所提升。 RAG(RetrievalAugmented Generation)即检索增强生成,由检索器和生成器两部分组成。检索器从外部知识中快速找到与问题相关的信息,生成器利用这些信息制作精确连贯的答案,适合处理需要广泛知识的任务。 在大模型中,向量可想象成空间中的点位,每个词或短语对应一个点。系统通过查看词在虚拟空间中点的位置,寻找直线距离最近的点来检索语义上接近的词语或信息。理解向量后,当收到一个对话时,RAG 的完整工作流程为:检索器从外部知识中检索相关信息,生成器利用这些信息生成答案。 要优化幻觉问题和提高准确性,需要了解从“问题输入”到“得到回复”的过程,针对每个环节逐个调优,以达到最佳效果。
2025-02-27