线性注意力机制与多头潜在注意力机制

将DeepSeek比喻成“AI界的拼多多”是偏颇的，认为DeepSeek的秘方就是多快好省也是不全面的。中国的大多数AI公司都缺卡，也都因为缺卡而拼命搞架构创新，这点没什么不同。要知道，DeepSeek在硅谷受到关注和追逐不是这两周刚发生的事。早在2024年5月DeepSeek-V2发布的时候，它就以多头潜在注意力机制（MLA）架构的创新，在硅谷引发了一场小范围的轰动。V2的论文就引发了AI研究界的广泛分享和讨论。当时，一个非常有意思的现象是：X和Reddit上AI从业者在讨论DeepSeek-V2，同时，DeepSeek在国内舆论场被描摹成了“大模型价格战的发起者”，有点平行时空的感觉。这也许能说明：DeepSeek跟硅谷更有对话和交流的密码，它的秘方应该是硅谷味儿的。

1.自注意力机制（Self-Attention Mechanism）：Transformer模型使用了自注意力机制，能够同时考虑输入序列中所有位置的信息，而不是像循环神经网络（RNN）或卷积神经网络（CNN）一样逐个位置处理。通过自注意力机制，模型可以根据输入序列中不同位置的重要程度，动态地分配注意力权重，从而更好地捕捉序列中的关系和依赖。2.位置编码（Positional Encoding）：由于自注意力机制不考虑输入序列的位置信息，为了使模型能够区分不同位置的词语，Transformer模型引入了位置编码。位置编码是一种特殊的向量，与输入词向量相加，用于表示词语在序列中的位置信息。位置编码通常是基于正弦和余弦函数计算得到的固定向量，可以帮助模型学习到位置信息的表示。3.多头注意力机制（Multi-Head Attention）：Transformer模型通过引入多头注意力机制，可以并行地学习多个注意力表示，从不同的子空间中学习不同的特征表示。每个注意力头都是通过将输入序列线性变换成查询（Query）、键（Key）和值（Value）向量，并计算注意力分数，然后将多个头的输出拼接在一起得到最终的注意力表示。4.残差连接（Residual Connection）和层归一化（Layer Normalization）：在每个子层（Self-Attention层和前馈神经网络层）的输入和输出之间都引入了残差连接，并对输出进行层归一化。残差连接可以缓解梯度消失和梯度爆炸问题，使得模型更容易训练和优化；层归一化可以加速训练过程，并提高模型的泛化能力。5.位置感知前馈网络（Position-wise Feed-Forward Networks）：在每个注意力子层之后，Transformer模型还包含了位置感知前馈网络，它是一个两层的全连接前馈神经网络，用于对注意力表示进行非线性转换和映射。位置感知前馈网络在每个位置独立地进行计算，提高了模型的并行性和计算效率。

1.2023年11月，DeepSeek先后发布了两款开源模型DeepSeek Coder和DeepSeek LLM，只有少数人关注到了，而它们也在计算的效率和可扩展性上遇到了挑战。2.2024年5月，DeepSeek发布了V-2，以混合专家模型（MoE）和多头潜在注意力机制（MLA）技术的结合，大幅降低了模型训练特别是推理的成本，且性能可以在很多维度与世界顶尖模型相比较，它开始引发AI学术界和开发者的广泛讨论和推荐，这是DeepSeek走进更多人视野的开始。3.2024年12月，DeepSeek发布了V-3，以OpenAI、Anthropic和Google百分之一的成本，实现了模型性能超越同类开源模型Llama 3.1和Qwen 2.5，媲美闭源模型GPT-4o和Claude 3.5 Sonnet的成绩，引发轰动，成为世界大语言模型发展的里程碑。可以说，V-3就是DeepSeek的“GPT-3”时刻，一个里程碑。当然，DeepSeek与OpenAI在实现里程碑式跃迁的进程中区别在于——1.OpenAI在这一进程中一直致力于实现计算资源规模与成本的无限扩张，而DeepSeek则一直致力用尽可能低成本的计算资源实现更高的效率。2.OpenAI花了两年时间达到GPT-3时刻，而DeepSeek用了一年摘得了V-3的圣杯。3.OpenAI在GPT路线上一直聚焦在预训练的进步，而DeepSeek则是训练与推理并重——这也是全球模型技术发展趋势的要求。