AIGC 即人工智能生成内容，是一种利用人工智能技术来生成各种类型内容的方法。在认识 AIGC 之前，我们可以先了解一下内容生产方式的演变，从 PGC（专业生产内容）到 UGC（用户生成内容），再到 AIGC。
GPT 系列模型是由 OpenAI 研发的大型文本生成类深度学习模型，可以用于对话 AI、机器翻译、摘要生成、代码生成等复杂的自然语言处理任务。GPT 系列模型使用了不断堆叠 Transformer 的思想，通过不断提升训练语料的规模与质量，以及不断增加网络参数来实现 GPT 的升级迭代。
Transformer 是一种重要的基建，它的基本结构与 Seq2Seq 模型类似，采用了编码器-解码器结构，通常包含多个编码器和多个解码器。在编码器内有两个模块：一个多头注意力机制模块和一个前馈神经网络模块。解码器内部的结构也和编码器类似，最开始包含一个多头注意力机制模块，最后包含一个前馈神经网络模块。需要注意的是，解码器中的多头注意力机制模块使用了掩码机制，其核心思想是在生成时只让参考已经生成的部分，而不允许参考未生成的部分。
目前，GPT 系列模型和 ChatGPT 等 AIGC 技术还存在一些局限性，例如理解偏差、敏感性问题、冗长回答、意图猜测、有害内容响应和逻辑推理错误等。但随着技术的不断发展和改进，这些问题有望得到逐步解决。
GPT系列模型与ChatGPT1.理解偏差：模型可能产生看似合理但实际错误或荒谬的答案。2.敏感性问题：输入措辞的微小调整可能导致模型从不知道答案到正确回答的转变。3.冗长回答：模型的回答通常过于冗长，并可能过度使用某些短语。4.意图猜测：面对模棱两可的问题，模型倾向于猜测用户意图而非请求澄清。5.有害内容响应：模型有时可能响应有害问题或表现出有偏见的行为。6.逻辑推理错误：在需要数学和物理等逻辑推理的任务中，模型可能犯错误。
GPT系列模型与ChatGPTGPT（Generative Pre-trained Transformer，生成型预训练变换器）是由OpenAI研发的大型文本生成类深度学习模型，可以用于对话AI、机器翻译、摘要生成、代码生成等复杂的自然语言处理任务。GPT系列模型使用了不断堆叠Transformer的思想，通过不断提升训练语料的规模与质量，以及不断增加网络参数来实现GPT的升级迭代ChatGPT的训练步骤：（详细理解，参考ChatGPT三个阶段）1.收集示范数据并训练一个监督学习的策略；2.收集对比数据并训练一个奖励模型；3.使用强化学习算法优化针对奖励模型的策略。目前的局限性：
Transformer的基本结构Transformer与Seq2Seq模型类似，也采用了编码器-解码器结构，通常会包含多个编码器和多个解码器。在编码器内有两个模块：一个多头注意力机制模块和一个前馈神经网络模块，这里的前馈神经网络是一种最简单的人工神经网络形式。解码器内部的结构也和编码器类似，最开始包含一个多头注意力机制模块，最后包含一个前馈神经网络模块。需要注意的是，解码器中的多头注意力机制模块使用了掩码（Mask）机制，其核心思想是：因为解码器的生成物是一个个产生的，所以生成时只让参考已经生成的部分，而不允许参考未生成的部分。此外，在两个模块中间，还有一个多头注意力机制模块。