AI 大模型的专业术语有哪些

一、视频一主要回答了什么是AI大模型，原理是什么。1、概念：生成式AI生成的内容，叫做AIGC2、概念与关系：相关技术名词1）AI——人工智能2）机器学习——电脑找规律学习，包括监督学习、无监督学习、强化学习。3）监督学习——有标签的训练数据，算法的目标是学习输入和输出之间的映射关系。包括分类和回归。4）无监督学习——学习的数据没有标签，算法自主发现规律。经典任务包括聚类，比如拿一堆新闻文章，让模型根据主题或内容特征分成具有相似特征的组。5）强化学习——从反馈里学习，最大化奖励或最小化损失；类似训小狗。6）深度学习——一种方法，参照人脑有神经网络和神经元（因为有很多层所以叫深度）。神经网络可以用于监督学习、无监督学习、强化学习。7）生成式AI——可以生成文本、图片、音频、视频等内容形式8）LLM——大语言模型。对于生成式AI，其中生成图像的扩散模型就不是大语言模型；对于大语言模型，生成只是其中一个处理任务，比如谷歌的BERT模型，可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类；3、技术里程碑——2017年6月，谷歌团队发表论文《Attention is All You Need》。这篇论文首次提出了Transformer模型，它完全基于自注意力机制（Self-Attention）来处理序列数据，而不需要依赖于循环神经网络（RNN）或卷积神经网络（CNN）。

一、视频一主要回答了什么是AI大模型，原理是什么。1、概念：生成式AI生成的内容，叫做AIGC2、概念与关系：相关技术名词1）AI——人工智能2）机器学习——电脑找规律学习，包括监督学习、无监督学习、强化学习。3）监督学习——有标签的训练数据，算法的目标是学习输入和输出之间的映射关系。包括分类和回归。4）无监督学习——学习的数据没有标签，算法自主发现规律。经典任务包括聚类，比如拿一堆新闻文章，让模型根据主题或内容特征分成具有相似特征的组。5）强化学习——从反馈里学习，最大化奖励或最小化损失；类似训小狗。6）深度学习——一种方法，参照人脑有神经网络和神经元（因为有很多层所以叫深度）。神经网络可以用于监督学习、无监督学习、强化学习。7）生成式AI——可以生成文本、图片、音频、视频等内容形式8）LLM——大语言模型。对于生成式AI，其中生成图像的扩散模型就不是大语言模型；对于大语言模型，生成只是其中一个处理任务，比如谷歌的BERT模型，可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类；3、技术里程碑——2017年6月，谷歌团队发表论文《Attention is All You Need》。这篇论文首次提出了Transformer模型，它完全基于自注意力机制（Self-Attention）来处理序列数据，而不需要依赖于循环神经网络（RNN）或卷积神经网络（CNN）。

首先我们给出一些常见缩写和专业词汇的“人话”解释，它们十分基础，但理解他们至关重要。为了讨论更加聚焦，接下来的内容将主要围绕大语言模型为主进行展开（对于其他模态的大模型，我们暂且放放）：LLM：Large language model的缩写，即大语言模型，前面百团大战中的各类大模型，说的都是大语言模型（极其应用）Prompt：中文译作提示词，就是我们输入给大模型的文本内容，可以理解为你和大模型说的话，下达的指令。提示词的质量好坏，会显著影响大模型回答的质量，很多时候如果你觉得大模型回答的太差了，AI味儿太浓了，很可能是你的提示词写的不够好，换言之，不是AI不行，而是你不行?Token：就像人类有着不同的语言，大模型也有着自己的语言体系，如图9，我们发送文本给大模型时，大模型会先把文本转换为他自己的语言，并推理生成答案，而后再翻译成我们看得懂的语言输出给我们。正如人类不同语言都有最小的字词单元（汉语的字/词，英语的字母/单词），大模型语言体系中的最小单元就称为Token。这种人类语言到大模型语言的翻译规则，也是人类定义的，以中文为例，由于不同厂商的大模型采用了不同的文本切分方法，因此一个Token对应的汉字数量也会有所不同，但在通常情况下，1Token≈1-2个汉字。请注意，大模型的收费计算方法，以及对输入输出长度的限制，都是以token为单位计量的。上下文：英文通常翻译为context，指对话聊天内容前、后的内容信息。使用时，上下文长度和上下文窗口都会影响AI大模型回答的质量。上下文长度限制了模型一次交互中能够处理的最大token数量，而上下文窗口限制了模型在生成每个新token时实际参考的前面内容的范围（关于这一点，你需要看完3.2中关于GPT的讨论，方能更好理解）