以下是关于国产大模型的介绍及对比:
过去一年,国内大模型取得了显著进步。综合能力超过 GPT 3.5 和 GeminiPro 的国产模型有 11 个,如百度的文心一言 4.0、阿里云的通义千问 2.0 和 Qwen 72BChat、OPPO 的 AndesGPT、清华&智谱 AI 的智谱清言、字节跳动的云雀大模型等。在 SuperCLUE 测评中,国外模型平均成绩为 69.42 分,国内模型平均成绩为 65.95 分,差距约 4 分,且国内外平均水平差距在缩小。
国内开源模型在中文上表现优于国外开源模型,如百川智能的 Baichuan213BChat、阿里云的 Qwen72B、Yi34BChat 均优于 Llama213BChat。国内大模型竞争格局方面,从国内 TOP19 大模型的数量来看,创业公司和大厂的占比几乎持平。
此外,还有针对国产大模型的测评机制,包括以同组提示词下 ChatGPT 4.0 生成的内容做对标参照,对复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力等方面进行多轮测评。
国外的代表性大模型如 GPT4 的不同版本、Claude2、Llama2 有较好的稳定性表现。国内开源模型总体表现较好,成绩最好的开源模型在中文某些场景或任务上接近 GPT 4,大版本的模型通常优于中小版本,众多创业公司是开源模型的主力。
2025-03-10