国内的多模态大模型有：
(8)InstructBLIP基于预训练的BLIP-2模型进行训练，在MM IT期间仅更新Q-Former。通过引入指令感知的视觉特征提取和相应的指令，该模型使得能够提取灵活多样的特征。(9)PandaGPT是一种开创性的通用模型，能够理解6不同模式的指令并根据指令采取行动：文本、图像/视频、音频、热、深度和惯性测量单位。(10)PaLI-X使用混合VL目标和单峰目标进行训练，包括前缀完成和屏蔽令牌完成。事实证明，这种方法对于下游任务结果和在微调设置中实现帕累托前沿都是有效的。(11)Video-LLaMA张引入了多分支跨模式PT框架，使LLMs能够在与人类对话的同时同时处理给定视频的视觉和音频内容。该框架使视觉与语言以及音频与语言保持一致。(12)视频聊天GPT Maaz等人。（2023）是专门为视频对话设计的模型，能够通过集成时空视觉表示来生成有关视频的讨论。(13)Shikra Chen等人。(2023d)介绍了一种简单且统一的预训练MM-LLM，专为参考对话（涉及图像中区域和对象的讨论的任务）而定制。该模型展示了值得称赞的泛化能力，可以有效处理看不见的设置。(14)DLP提出P-Former来预测理想提示，并在单模态句子数据集上进行训练。这展示了单模态训练增强MM学习的可行性。
文本生成（text generation）涉及使用机器学习(machine learning)模型，根据从现有文本数据中学习的模式生成新的文本。用于文本生成的模型可以是马尔科夫链(Markov Chains)、循环神经网络（RNN）、长短时记忆网络（LSTMs），2AIGC法律风险研究报告以及凭借其延长的注意力广度（attention span）而彻底改变了AI领域的Transformer等。文本生成在自然语言处理、聊天机器人和内容创建领域（自动写作、文本摘要）有许多应用。[heading1]一些具有代表性的海外项目：[content]➢GPT-4（OpenAI）：目前最先进的自然语言生成模型，可用于回答问题、撰写文章等。➢Gemini Ultra（Google）：多模态人工智能模型，采用神经网络架构，对标GPT-4，可用于回答问题、生成代码、处理文本等。➢Claude 3 Opus（Anthropic）：多模态模型，能处理超过1百万token的输入，具有实时聊天、数据处理、分析预测等功能；实现了接近完美的召回率。[heading1]一些具有代表性的国内项目：[content]➢“悟道・天鹰”（北京智源人工智能研究院）：“悟道・天鹰”（Aquila）是首个具备中英文双语知识、支持商用许可协议、国内数据合规需求的开源语言大模型。➢文心一言（百度）：大语言模型，可用以文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成。
(15)BuboGPT是通过学习共享语义空间构建的模型，用于全面理解MM内容。它探索图像、文本和音频等不同模式之间的细粒度关系。(16)ChatSpot引入了一种简单而有效的方法来微调MM-LLM的精确引用指令，促进细粒度的交互。由图像级和区域级指令组成的精确引用指令的结合增强了多粒度VL任务描述的集成。(17)Qwen-VL是一个多语言MM-LLM，支持英文和中文。Qwen-VL还允许在训练阶段输入多个图像，提高其理解视觉上下文的能力。(18)NExT-GPT是一款端到端、通用的any-to-any MM-LLM，支持图像、视频、音频、文本的自由输入输出。它采用轻量级对齐策略，在编码阶段利用以LLM为中心的对齐方式，在解码阶段利用指令跟随对齐方式。(19)MiniGPT-5郑等人。是一个MM-LLM，集成了生成voken的反演以及与稳定扩散的集成。它擅长为MM生成执行交错VL输出。在训练阶段加入无分类器指导可以提高生成质量。