大模型通俗来讲，是输入大量语料，让计算机获得类似人类的“思考”能力，从而能够理解自然语言，并进行文本生成、推理问答、对话、文档摘要等工作。
在 LLM 中，Token 被视为模型处理和生成的文本单位，可以代表单个字符、单词、子单词甚至更大的语言单位，具体取决于所使用的分词方法。Token 是原始文本数据与 LLM 可用的数字表示之间的桥梁，输入分词时会数字化形成词汇表。为让计算机理解 Token 之间的联系，需将 Token 表示成稠密矩阵向量，这个过程称为 embedding，常见算法有基于统计的 Word2Vec、GloVe，基于深度网络的 CNN、RNN/LSTM，基于神经网络的 BERT、Doc2Vec 等，以 Transform 为代表的大模型采用自注意力机制来学习不同 token 之间的依赖关系，生成高质量 embedding。
所谓的大模型，就是拥有庞大参数数量的模型。它们通过处理和理解海量数据，能够胜任一系列复杂任务。之所以称为“大”模型，是因为其规模大，通常包含数十亿到数千亿的参数，这些庞大的参数集合赋予了强大的学习和记忆能力。大模型强大的原因一方面在于庞大的参数数量，这些参数在学习过程中不断调整，帮助模型更深入地理解和生成数据；另一方面，大模型的训练离不开大量数据，无论是文本、图像还是音频数据，都是学习的基础，通过对这些数据的深入学习，模型能够掌握丰富的知识和技能。
通俗来讲，大模型就是输入大量语料，来让计算机获得类似人类的“思考”能力，使之能够理解自然语言，能够进行『文本生成』、『推理问答』、『对话』、『文档摘要』等工作。既然是学习，那我们就可以用『上学参加工作』这件事来类比大模型的训练、使用过程：1.找学校::训练LLM需要大量的计算，因此GPU更合适，因此只有购买得起大量GPU的贵族学校才有资本训练自己的大模型2.确定教材::大模型顾名思义就是大，需要的数据量特别多，几千亿序列（Token）的输入基本是标配3.找老师::即用什么样的算法讲述“书本”中的内容，让大模型能够更好理解Token之间的关系4.就业指导::学完书本中的知识后，为了让大模型能够更好胜任某一行业，需要进行微调（fine tuning）指导5.搬砖::就业指导完成后，下面就要正式干活了，比如进行一次翻译、问答等，在大模型里称之为推导（infer）
在LLM中，Token([2])被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token是原始文本数据与LLM可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表（Vocabulary），比如：The cat sat on the mat，会被分割成“The”、“cat”、“sat”等的同时，会生成下面的词汇表：|Token|ID|<br>|-|-|<br>|The|345|<br>|cat|1256|<br>|sat|1726|<br>|…|…|数字化的好处是便于计算机处理。但为了让计算机理解Token之间的联系，还需要把Token表示成稠密矩阵向量，这个过程称之为embedding([3])，常见的算法有：基于统计Word2Vec，通过上下文统计信息学习词向量GloVe，基于词共现统计信息学习词向量基于深度网络CNN，使用卷积网络获得图像或文本向量RNN/LSTM，利用序列模型获得文本向量基于神经网络BERT，基于Transformer和掩码语言建模（Masked LM）进行词向量预训练Doc2Vec，使用神经网络获得文本序列的向量以Transform为代表的大模型采用自注意力（Self-attention）机制来学习不同token之间的依赖关系，生成高质量embedding。
所谓的大模型，简而言之，就是那些拥有庞大参数数量的模型。它们通过处理和理解海量数据，能够胜任一系列复杂的任务。那么，为何将这些模型称作“大”模型呢？原因在于它们的规模之大，通常包含从数十亿到数千亿的参数。这些庞大的参数集合赋予了模型强大的学习和记忆能力，使其在处理各种任务时表现出色。我们可以从两个方面来进一步解读大模型的特点：大模型之所以强大，一个重要原因在于它们庞大的参数数量。这些参数，或者说“权重”，是模型在学习过程中不断调整的核心，它们帮助模型更深入地理解和生成数据。大模型的训练离不开大量的数据。无论是文本、图像还是音频数据，都是大模型学习的基础。通过对这些数据的深入学习，模型能够掌握丰富的知识和技能。