AGI 指通用人工智能(Artificial General Intelligence)。在相关讨论中,部分人认为大语言模型(LLM)具有 AGI 潜力,但也有人如 LeCun 表示反对。在公众传播层面,AIGC 指用 Stable Diffusion 或 Midjourney 生成图像内容,后来泛指用 AI 生成音乐、图像、视频等内容;LLM 指 NLP 领域的大语言模型,如 ChatGPT;GenAI 是生成式人工智能模型,国内官方政策文件使用这个词相对科学,涵盖了 LLM 和 AIGC。
OpenAI在其内部会议上分享了关于通用人工智能(AGI)的五个发展等级。OpenAI自2015年成立以来,一直将AGI作为其战略目标之一,随着ChatGPT、多模态大模型和AI Agent等技术的发展,我们似乎越来越接近实现这一目标。AGI的五个等级分别为:1.聊天机器人(Chatbots):具备基本对话能力的AI,主要依赖预设脚本和关键词匹配,用于客户服务和简单查询响应。2.推理者(Reasoners):具备人类推理水平的AI,能够解决复杂问题,如ChatGPT,能够根据上下文和文件提供详细分析和意见。3.智能体(Agents):不仅具备推理能力,还能执行全自动化业务的AI。目前许多AI Agent产品在执行任务后仍需人类参与,尚未达到完全智能体的水平。4.创新者(Innovators):能够协助人类完成新发明的AI,如谷歌DeepMind的AlphaFold模型,可以预测蛋白质结构,加速科学研究和新药发现。5.组织(Organizations):最高级别的AI,能够自动执行组织的全部业务流程,如规划、执行、反馈、迭代、资源分配和管理等。
作者:Garman邬嘉文原文:https://mp.weixin.qq.com/s/b7Cctfgb4w5LCCBrSYIlrg[heading2]Transformer决定边界[content]在CES 2024,李飞飞在争论LLM和AIGC名称不能混用,吴恩达觉得在公众传播没关系。李飞飞觉得难以接受,个人猜测是它模糊了大模型的本质。在公众传播层面:AIGC:指用Stable Diffusion或Midjourney生成图像内容,后来泛指用AI生成音乐、图像、视频等内容。LLM:指NLP领域的大语言模型,如ChatGPT。GenAI:生成式人工智能模型,国内官方政策文件使用这个词相对科学,涵盖了LLM和AIGC。AGI:指通用人工智能,部分人觉得LLM具有AGI潜力,LeCun反对。公众传播一般会混用上述名词,但底层是transformer结构。(stable diffusion原采用LDM+UNet,后来改为DiT)而transformer底层是function loss损失函数Transformer是一个大参数(千亿级别)的回归方程。回归方程的Function loss拟合A to B mapping关系,实现数据集的压缩与还原。Transformer是在一定prompt condition情况下,repeat曾经出现过的数据内容,实现“生成”能力。大语言模型的智能体验在两个数据集压缩后,能解释两个数据集之间地带的“连续”能力。(Ilya)所以大语言模型是一个perfect memory,repeat曾经出现的内容。它与Alpha Go差异:Alpha Go是一个增强学习模型,学习结果会调整模型自身参数Alpha Go有推理能力,但大语言模型这块很弱。Transformer决定LLM是一个生成式模型。
作者:Garman邬嘉文原文:https://mp.weixin.qq.com/s/b7Cctfgb4w5LCCBrSYIlrg[heading2]Transformer决定边界[content]在CES 2024,李飞飞在争论LLM和AIGC名称不能混用,吴恩达觉得在公众传播没关系。李飞飞觉得难以接受,个人猜测是它模糊了大模型的本质。在公众传播层面:AIGC:指用Stable Diffusion或Midjourney生成图像内容,后来泛指用AI生成音乐、图像、视频等内容。LLM:指NLP领域的大语言模型,如ChatGPT。GenAI:生成式人工智能模型,国内官方政策文件使用这个词相对科学,涵盖了LLM和AIGC。AGI:指通用人工智能,部分人觉得LLM具有AGI潜力,LeCun反对。公众传播一般会混用上述名词,但底层是transformer结构。(stable diffusion原采用LDM+UNet,后来改为DiT)而transformer底层是function loss损失函数Transformer是一个大参数(千亿级别)的回归方程。回归方程的Function loss拟合A to B mapping关系,实现数据集的压缩与还原。Transformer是在一定prompt condition情况下,repeat曾经出现过的数据内容,实现“生成”能力。大语言模型的智能体验在两个数据集压缩后,能解释两个数据集之间地带的“连续”能力。(Ilya)所以大语言模型是一个perfect memory,repeat曾经出现的内容。它与Alpha Go差异:Alpha Go是一个增强学习模型,学习结果会调整模型自身参数Alpha Go有推理能力,但大语言模型这块很弱。Transformer决定LLM是一个生成式模型。