大模型时间序列的图

[title]2023年历史更新（归档）[heading3]7月10日一图胜千言中更新了几张图一张LLM很重要的一张图，背后是一篇必读论文[《Language Models are Few-Shot Learners》](https://ywh1bkansf.feishu.cn/wiki/PFXnwBTsEiGwGGk2QQFcdTWrnlb?field=fldzHOwXXK&record=rec0Ig6Qzf&table=tblyh76bHrCi4PXq&view=vewUunvDn1)[大型语言模型（大于10B）的时间轴](https://ywh1bkansf.feishu.cn/wiki/PFXnwBTsEiGwGGk2QQFcdTWrnlb?field=fldzHOwXXK&record=recJR4ndlj&table=tblyh76bHrCi4PXq&view=vewUunvDn1)这背后也是一篇论文，85页盘点LLM发展史，附最详细prompt技巧datacamp出品的[生成式人工智能工具全景图](https://ywh1bkansf.feishu.cn/wiki/PFXnwBTsEiGwGGk2QQFcdTWrnlb?field=fldzHOwXXK&record=rec91zO1YX&table=tblyh76bHrCi4PXq&view=vewUunvDn1)和[盘点数据和人工智能相关工作所需的主要服务](https://ywh1bkansf.feishu.cn/wiki/PFXnwBTsEiGwGGk2QQFcdTWrnlb?field=fldzHOwXXK&record=recf9ckOMT&table=tblyh76bHrCi4PXq&view=vewUunvDn1)

5（关键进展）时间准备期成长期爆发期◼自2022年11月30日ChatGPT发布以来，AI大模型在全球范围内掀起了有史以来规模最大的人工智能浪潮。国内学术和产业界在过去一年也有了实质性的突破。大致可以分为三个阶段，即准备期（ChatGPT发布后国内产学研迅速形成大模型共识）、成长期（国内大模型数量和质量开始逐渐增长）、爆发期（各行各业开源闭源大模型层出不穷，形成百模大战的竞争态势）。故事的起点：ChatGPT发布国内迅速形成大模型共识

[title]Sora：大型视觉模型的背景、技术、局限性和机遇综述【官方论文】[heading1]3技术[heading2]3.3建模基础模型用于低分辨率视频生成，然后通过级联扩散模型进行细化以提高分辨率。基础视频和超分辨率模型采用3D U-Net架构，以时空可分离的方式使用。该架构将时间注意力和卷积层与空间对应物结合起来，以有效捕获帧间依赖性。它采用v-预测参数化以确保数值稳定性，并使用条件增强来促进模型间的并行训练。该过程涉及对图像和视频的联合训练，将每个图像视为一个帧以利用更大的数据集，并使用无分类器引导[57]来增强提示的忠实度。应用渐进式蒸馏[58]来简化采样过程，显著减少计算负载同时保持感知质量。结合这些方法和技术，Imagen Video不仅能生成高保真度的视频，还能展现出卓越的可控性，如其生成多样化视频、文字动画和各种艺术风格内容的能力所示。14(a)额外的时间层。通过插入学习将帧对齐成时间一致序列的时间层，将预训练的LDM转变为视频生成器。在优化过程中，图像骨干θ保持固定，只有时间层li的参数ϕ接受训练。14(b)视频LDM堆栈。视频LDM首先生成稀疏关键帧，然后使用相同的潜在扩散模型进行两次时间插值以实现高帧率。最后，将潜在视频解码到像素空间，并可选地应用视频上采样器扩散模型。图14：视频LDM的整体框架。来源：视频LDM[36]。