Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

大模型评测

Answer

以下是关于大模型评测的相关信息：

  • FlagEval（天秤）大模型评测体系及开放平台：
    • 地址：https://github.com/FlagOpen/FlagEval
    • 简介：旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能，同时探索利用 AI 方法实现对主观评测的辅助，大幅提升评测的效率和客观性。创新构建了“能力-任务-指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。
  • C-Eval：构造中文大模型的知识评估基准：
    • 地址：https://github.com/SJTU-LIT/ceval
    • 简介：构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代…），从中学到大学研究生以及职业考试，一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。
  • SuperCLUElyb：SuperCLUE 琅琊榜
    • 地址：https://github.com/CLUEbenchmark/SuperCLUElyb
    • 简介：中文通用大模型匿名对战评价基准，这是一个中文通用大模型对战评价基准，它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。

此外，还有小七姐对文心一言 4.0、智谱清言、KimiChat 的小样本测评，测评机制包括：

  • 测评目标：测评三家国产大模型，以同组提示词下 ChatGPT 4.0 生成的内容做对标参照。
  • 能力考量：复杂提示词理解和执行（结构化提示词）、推理能力（CoT 表现）、文本生成能力（写作要求执行）、提示词设计能力（让模型设计提示词）、长文本归纳总结能力（论文阅读）。
  • 测评轮次：第一轮是复杂提示词理解和执行，包括 Markdown+英文 title 提示词测试、Markdown+中文 title 提示词测试、中文 title+自然段落提示词测试；第二轮是推理能力（CoT 表现）；第三轮是文本生成能力（写作要求执行）；第四轮是提示词设计能力（让模型设计提示词）；第五轮是长文本归纳总结能力（论文阅读）。

测试大模型质量好坏时，常用的问题包括检索和归纳、推理性、有日期相关历史事件等。以下是几个专业做模型测评的网站：https://lmsys.org/blog/2023-05-03-arena/

Content generated by AI large model, please carefully verify (powered by aily)

References

LLM开源中文大语言模型及数据集集合

FlagEval（天秤）大模型评测体系及开放平台地址：[https://github.com/FlagOpen/FlagEval](https://github.com/FlagOpen/FlagEval)简介：旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能，同时探索利用AI方法实现对主观评测的辅助，大幅提升评测的效率和客观性。FlagEval（天秤）创新构建了“能力-任务-指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。C-Eval:构造中文大模型的知识评估基准：地址：[https://github.com/SJTU-LIT/ceval](https://github.com/SJTU-LIT/ceval)简介：构造了一个覆盖人文，社科，理工，其他专业四个大方向，52个学科（微积分，线代…），从中学到大学研究生以及职业考试，一共13948道题目的中文知识和推理型测试集。此外还给出了当前主流中文LLM的评测结果。SuperCLUElyb:SuperCLUE琅琊榜地址：[https://github.com/CLUEbenchmark/SuperCLUElyb](https://github.com/CLUEbenchmark/SuperCLUElyb)简介：中文通用大模型匿名对战评价基准，这是一个中文通用大模型对战评价基准，它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于Elo评级系统的排行榜。

小七姐：文心一言4.0、智谱清言、KimiChat 小样本测评

测评三家国产大模型，以同组提示词下ChatGPT 4.0生成的内容做对标参照[智谱清言](https://chatglm.cn/main/detail)[文心一言4.0](https://yiyan.baidu.com/)[Kimi Chat](https://kimi.moonshot.cn/chat/)[heading3]二、能力考量[content]复杂提示词理解和执行（结构化提示词）推理能力（CoT表现）文本生成能力（写作要求执行）提示词设计能力（让模型设计提示词）长文本归纳总结能力（论文阅读）[heading3]三、测评轮次[heading4]第一轮：复杂提示词理解和执行[content]1.任务一：Markdown+英文title提示词测试，1个任务4个模型（4次）2.任务二：Markdown+中文title提示词测试，1个任务4个模型（4次）3.任务三：中文title+自然段落提示词测试，1个任务4个模型（4次）[heading4]第二轮：推理能力（CoT表现）[content]逐步推理任务，遍历3个不同类型任务+4个大模型（12次）[heading4]第三轮：文本生成能力（写作要求执行）[content]根据提示词生成文本任务，遍历3个不同类型任务+4个大模型（12次）[heading4]第四轮：提示词设计能力（让模型设计提示词）[content]按提示词要求生成提示词，逐步推理任务，遍历3个不同类型任务+4个大模型（12次）[heading4]第五轮：长文本归纳总结能力（论文阅读）[content]按提供的长文本（上传或在线）进行归纳总结，逐步推理任务，遍历3个不同类型任务+4个大模型（12次）

测试各种LLM

针对大模型的评估是最近一个很火的领域请问大家一般用什么问题，测试不同LLM模型的质量好坏大部分同学会用：1.检索和归纳2推理性3有日期相关历史事件等问题以下是几个专业做模型测评的网站1.这里有个网站做的非常全面：https://lmsys.org/blog/2023-05-03-arena/

Others are asking
大模型怎么进行评测的
大模型的评测方式多种多样，以下为您介绍一些常见的评测方法和相关示例： 1. 斯坦福发布的大模型排行榜 AlpacaEval： 相对于人工标注，全自动化的 AlpacaEval 仅需花费约 1/22 的经济成本和 1/25 的时间成本。 从统计角度出发，检验什么评估数据可以最好地区分模型。 支持两种模式的模型评估方式： alpaca_eval：直接根据目标模型输出的响应来评估模型。 alpaca_eval evaluate_from_model：根据 HuggingFace 已注册模型或这 API 提供商来端到端评测模型。 评测过程分为以下 3 步： 选择一个评估集，并计算指定为 model_outputs 的输出。默认情况下，使用来自 AlpacaEval 的 805 个示例。 计算 golden 输出 reference_outputs。默认情况下，在 AlpacaEval 上使用 textdavinci003 的输出。 通过 annotators_config 选择指定的自动标注器，它将根据 model_outputs 和 reference_outputs 计算胜率。这里建议使用 alpaca_eval_gpt4 或 claude。根据不同的标注器，使用者还需要在环境配置中设定 API_KEY。 2. 小七姐的测评： 测评目标：测评三家国产大模型，以同组提示词下 ChatGPT 4.0 生成的内容做对标参照。 能力考量：包括复杂提示词理解和执行（结构化提示词）、推理能力（CoT 表现）、文本生成能力（写作要求执行）、提示词设计能力（让模型设计提示词）、长文本归纳总结能力（论文阅读）。 测评轮次：分为复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力等多轮，每轮都有不同的任务和模型测试次数。 3. LLM 开源中文大语言模型及数据集集合中的评测： FlagEval（天秤）大模型评测体系及开放平台：旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能，同时探索利用 AI 方法实现对主观评测的辅助，大幅提升评测的效率和客观性。创新构建了“能力任务指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。 CEval：构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代…），从中学到大学研究生以及职业考试，一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb：中文通用大模型匿名对战评价基准，这是一个中文通用大模型对战评价基准，它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。
2025-03-13
生图评测
以下是关于生图评测的相关内容： 评价维度： 提示词响应程度：包括语义理解，是否准确理解提示词含义并完整呈现内容；细节遵循，在细节上是否遵循提示词要求，如颜色、数量、位置等。 真实感与逼真度：物理规律是否符合，如光照、重力等；人体结构是否准确，无明显错误。 风格化能力：风格理解，是否准确理解提示词所要求的风格；风格多样性，能否生成不同风格的图片。 创意性与艺术性：美感是否符合美学原则，如构图、色彩搭配等；想象力是否能给出出乎意料的作品。 图像质量：清晰度与细节，图片是否清晰、细节是否丰富，有无模糊、噪点等影响观感的瑕疵；分辨率是否足够，是否适合不同应用场景。 案例分析： 阿强的功夫熊猫版如来神掌的 Midjourney 词力测试：目的是测词，看模型是否将功夫熊猫训练进去，并测试其角色、风格的一致性情况。不同的提示词组合产生了不同的效果，如“DreamWorks Animation,A Po Panda”词力强，动作可控；“Po Panda”有 1/4 概率出阿宝，动作自然可控等。在写绘画 prompt 时，遵循“若无必要，勿增实体”的理念，提前测试“词力”，用迭代思维写 prompt 有助于提高生图效率。 Midjourney 与 Google Imagen3 的对比测试：在画面控制力上，通过复杂的人物主体和画面要求进行测试。Imagen3 在某些场景（如充满神秘感的图书馆中女性取书的细节）的表现令人震惊，能完整还原画面内容、服饰、姿势，并兼顾构图。而 Midjourney 在多主体人物和描述词下，画面质量下降明显，如女性身材比例被压缩，某些细节未出现。
2025-03-08
模型评测
以下是关于模型评测的相关内容： Llama2 模型评测：为了解其中文问答能力，筛选了具有代表性的中文问题进行提问，测试了 Meta 公开的 Llama27BChat 和 Llama213BChat 两个版本，未做任何微调和训练。测试问题涵盖通用知识、语言理解等八个类别，使用特定 Prompt，测试结果见相应文档。通过测试发现，该模型对于中文问答的对齐效果一般，基于中文数据的训练和微调十分必要。 LORA 模型训练超入门级教程中的模型测试：最后从炼丹炉内取最小值的模型为最佳，在 Output 文件夹下取出模型。可用 Stable Diffusion 的 xyz 图表脚本来测试不同权重下 Lora 的表现，包括选择 x 轴、y 轴类型等操作。 斯坦福发布大模型排行榜 AlpacaEval：相对于人工标注，全自动化的 AlpacaEval 经济成本和时间成本低。还探讨了什么评估数据能最好地区分模型，以及 AlpacaEval 支持两种模式的模型评估方式，评测过程分为三步，包括选择评估集、计算输出等，并建议使用特定的自动标注器。
2025-02-11
大模型评测
以下是关于大模型评测的相关信息： 招聘信息：有大模型算法工程师/产品经理（实习）岗位在北京，工作包括大模型效果评测，要求研究生及以上学历，相关专业优先，有相关实习经验、代码能力强等。 开源评测体系及平台： FlagEval（天秤）：旨在建立科学、公正、开放的评测基准、方法、工具集，创新构建了“能力任务指标”三维评测框架。 CEval：构造了覆盖多学科的中文知识和推理型测试集，并给出主流中文 LLM 的评测结果。 SuperCLUElyb：中文通用大模型匿名对战评价基准，发布了初步结果和基于 Elo 评级系统的排行榜。 测评示例：小七姐对文心一言 4.0、智谱清言、KimiChat 进行小样本测评，包括测评机制、目标、能力考量和多轮测评任务，如复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力等，每轮测评都有不同的任务和模型参与。
2025-01-14
superclue 在国内的评测里面什么地位，国外对标的评测是什么
在国内的评测中，SuperCLUE 是大模型时代 CLUE 基准的发展和延续，聚焦于通用大模型的综合性测评。在 SuperCLUE 测评中，国外模型的平均成绩为 69.42 分，国内模型平均成绩为 65.95 分，差距在 4 分左右。国内外的平均水平差距在缩小，11 月差距在 10 分左右。 SuperCLUE 是中文语言理解测评基准 CLUE 的发展，发起于 2019 年，陆续推出了多种广为引用的测评基准。它根据多年的测评经验，构建了多层次、多维度的综合性测评基准。SuperCLUE 始终秉持中立、客观的第三方测评理念，采用自动化方式的客观评估，降低评测过程中的人为评估的不确定性。 国外对标的评测没有明确提及。
2025-01-07
帮我查一下这四家主流大模型的应用能力评测报告吧，通用能力和单项能力都可，数据需要权威一些文心一言 文心一格 通义千问 通义万相 讯飞星火 ai小科 智谱
以下是为您找到的关于主流大模型应用能力评测的相关报告： 小七姐的测评： 测评机制：以同组提示词下 ChatGPT 4.0 生成的内容做对标参照，对智谱清言、文心一言 4.0、Kimi Chat 进行测评。 能力考量：包括复杂提示词理解和执行（结构化提示词）、推理能力（CoT 表现）、文本生成能力（写作要求执行）、提示词设计能力（让模型设计提示词）、长文本归纳总结能力（论文阅读）。 测评轮次：共分为五轮，分别针对不同的任务和模型进行多次测试。 中文大模型基准测评 2023 年度报告： 优秀模型：文心一言 4.0 API（百度）。 模型特点：在计算、逻辑推理、生成与创作、传统安全这 4 大基础能力上排名国内第一，在代码、知识与百科、语言理解与抽取、工具使用能力上排名国内前三，各项能力表现均衡且水平较高。 适合应用：能力栈广泛，可应用于查询搜索知识应用、任务拆解规划 Agent、文案写作、代码编写及纠错等方面，在逻辑推理方面表现不俗，可关注在科学研究、教育、工业方面的落地能力。 观点文章中的测评： 目前体验效果比较好的有科大星火模型、清华 ChatGLM、百度文心一言。 星火目前感觉最接近 GPT3.5（0301 版本）的 80%90%，但 GPT3.5 进化到 6 月版本效果更强。 对大模型的评估可从基础能力、职场能力、探索对话三个方面判断，基础能力包括语言（文本）生成和语言理解，如常识类问题和分词类问题。
2024-12-27
大模型的系统提示词
大模型的系统提示词主要包括以下方面： 1. 在“五津：一键生成‘摸鱼打工猫’视频”中，针对用户选择的主题和回答，总结用户的创作意图，如“打工猫摸鱼的 2 小时，在巴厘岛能看一场日落”，并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词，以数组形式输出到“tishici”，将用户意图输出到“biaoti”。 2. 在“云中江树：智能对决：提示词攻防中的 AI 安全博弈”中，系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意；模型侧对于有能力的厂商应增强安全性并平衡性能，开发者则要在开发中带着安全意识优化系统提示词，加入安全引导和禁止内容等；输出侧可使用传统防御和内容过滤手段，并针对大模型特点进行私有数据泄露等检查。此外，还提到间接注入和提示词泄露的情况，间接注入常发生在应用获取依赖外部数据资源时，攻击者通过隐藏恶意指令完成攻击；提示词泄露指试图操纵模型输出获取部分或全部系统提示词，大模型输出内容可分为系统提示词、用户提示和助手提示词三段，通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash，这3个视觉理解大模型哪个最厉害？
以下是对通义千问 Qwen2.5VL 模型的介绍： 版本：有 3B、7B 和 72B 三个尺寸版本。 主要优势： 视觉理解能力：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。 视频理解能力：支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。 万物识别：擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位：采用矩形框和点的多样化方式对通用物体定位，支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解：提升 OCR 识别能力，增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析：设计了更全面的文档解析格式，称为 QwenVL HTML 格式，能够精准还原文档中的版面布局。 增强的视频理解：引入动态帧率（FPS）训练和绝对时间编码技术，支持小时级别的超长视频理解，具备秒级的事件定位能力。 开源平台： Huggingface：https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope：https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat：https://chat.qwenlm.ai 然而，对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型，目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容，因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看，其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有： 1. 昆仑万维的 SkyReelsV1：它不仅支持文生视频、图生视频，还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。擅长万物识别，能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个： 1. 昆仑万维的 SkyReelsV1：不仅支持文生视频、图生视频，是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元：语义理解能力出色，能精准还原复杂的场景和动作，如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5：全球最快的 AI 视频生成模型，Turbo 模式下可在 10 秒内生成视频，最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能，具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面，较为突出的有 DeepSeek 的 JanusPro 模型，它将图像理解和生成统一在一个模型中；还有通义千问的视觉理解模型，其价格有较大降幅。此外，Pixverse V3.5 是全球最快的 AI 视频生成模型，在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型，因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点： 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验，具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接，产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务，适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景，如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点： 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情，全靠用户脑补，导致用户上头期短，疲劳度高，长期留存低。 3. 无法回答私有领域问题（如公司制度、人员信息等）。 4. 无法及时获取最新信息（如实时天气、比赛结果等）。 5. 无法准确回答专业问题（如复杂数学计算、图像生成等）。
2025-04-14