Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

模型打分

Answer

评估模型输出通常需要一个“黄金标准”的答案。假设我们清楚某个问题的正确答案应包含哪些事实（得分点），就可以使用模型查询和计算的方法总结这些得分点来为模型输出质量打分。这是监督学习的一部分，能让模型在人类指导下改善性能。评估过程通常由另一个模型执行，以降低人力成本。

例如，杨志磊对各模型的答辩状 prompt 进行了评测，按照满分 10 分的标准，各模型得分如下：ChatGPT 为 6 分，Bard 为 5.5 分，Kimi chat 为 6.5 分，智谱清言为 5 分，讯飞星火为 5 分，文心一言 3.5 为 4 分，通义千问为 6.5 分，腾讯混元为 5 分，百川大模型为 7 分，豆包 AI 为 5 分，Copilot 为 9 分，Claude 2.0 为 6 分。

斯坦福发布的大模型排行榜 AlpacaEval 相比其他 LLM 自动评测器，如 alpaca_farm_greedy_gpt4、aviary_gpt4、lmsys_gpt4 及人类评估，有其特别之处。在 AlpacaEval set 上，通过与 2.5K 条人工标注结果对比，其采用的 GPT-4 评测方式取得了最高的人类一致性、较低的误差，且只需约 1/22 的人类标注成本。另外，团队还从统计角度研究了什么评估数据能最好地区分模型，并发现 Self-Instruct 数据集产生的统计能力最小，可从评估集中删除。AlpacaEval 支持两种模式的模型评估方式。

Content generated by AI large model, please carefully verify (powered by aily)

References

OpenAI：GPT_最佳实践中文大白话版本_未来力场编译.pdf

评估模型输出的时候，需要你弄一个“⻩⾦标准”的答案Evaluatemodel outputswith reference togold-standard answersSuppose it is known that the correct answer to a question should make reference to aspecific set of known facts.Thenwe can use a model query to count howmany of therequired facts are included in the answer.（这段没有逐字翻译）假设我们作为⼈类清楚地知道，当我们提出某个问题时，模型应该给我们输出哪些事实（得分点）。那么，我们就可以使⽤模型查询和计算的⽅法，来总结这些得分点，从⽽给模型的输出质量打分。这个过程是监督学习的一部分，它能让模型通过⼈类的指导来改善其性能。评估模型输出的过程也是由另一个模型来执⾏的（⽽不是⼈）。这是一个⾃动化的评估过程。⽐如，一个模型（可能是同一个模型的不同实例或不同的模型）负责评估另一个模型的输出。否则，做⼤规模的模型训练的⼈⼒成本就太⾼了。OpenAI提供了一些prompt⽰例，我们这⾥略去了。有兴趣可以参考原链接。附录OpenAI Playground什么，怎么用？什么是OpenAI Playground...一个⾯向开发⼈员和研究⼈员的“游乐场”在Playground上可以按⾃⼰需求更改设置。这是最好的一点。8、频率惩罚和存在惩罚（Frequency penalty and Presence penalty）这两个参数都是⽤来调控⽂本⽣成过程中某些词汇出现的频率和次数的。

杨志磊：律师答辩状prompt各模型评测

如果按照满分10分的话|ChatGPT|6|<br>|-|-|<br>|Bard|5.5|<br>|Kimi chat|6.5|<br>|智谱清言|5|<br>|讯飞星火|5|<br>|文心一言3.5|4|<br>|通义千问|6.5|<br>|腾讯混元|5|<br>|百川大模型|7|<br>|豆包AI|5|<br>|Copilot|9|<br>|Claude 2.0|6|

斯坦福发布大模型排行榜AlpacaEval

那么相比其他的LLM自动评测器，如alpaca_farm_greedy_gpt4、aviary_gpt4、lmsys_gpt4，还有人类（humans）评估，斯坦福的AlpacaEval评测器有什么特别？在AlpacaEval set上，斯坦福AlpacaEval团队通过与2.5K条人工标注结果（每个指令平均包含4个人工标注）对比，研究人员评估了不同的自动标注器的性能。对比结果显示，AlpacaEval采用的GPT-4评测方式取得了最高的人类一致性，以及较低的误差，并仅需约1/22的人类标注成本。图注：人类一致性：标注者与交叉标注集中人类多数票之间的一致性。价格：每1000个标注的平均价格。时间：计算1000个标注所需的平均时间。相对于人工标注，全自动化的AlpacaEval仅需花费约1/22的经济成本和1/25的时间成本。另外，还有一个关键问题：什么评估数据可以最好地区分模型。团队从统计角度出发，在AlpacaEval的所有子集上检验这个问题。下图显示了AlpacaEval每个子集的80个实例上每对模型的配对t检验的p值。例如，我们看到Self-Instruct数据集产生的统计能力最小，这表明可以从评估集中删除该数据集。图注：不同基准评估数据集的质量02如何使用AlpacaEval评估模型AlpacaEval支持两种模式的模型评估方式：

Others are asking
文生图模型打分的排行榜
以下是文生图模型的打分排行榜（从高到低）： 文生图模型： Imagen 3：真实感满分，指令遵从强。 Recraft：真实感强，风格泛化很好，指令遵从较好（会受风格影响）。 Midjourney：风格化强，艺术感在线，但会失真，指令遵从较差。 快手可图：影视场景能用，风格化较差。 Flux.1.1：真实感强，需要搭配 Lora 使用。 文生图大模型 V2.1L（美感版）：影视感强，但会有点油腻，细节不够，容易糊脸。 Luma：影视感强，但风格单一，糊。 美图奇想 5.0：AI 油腻感重。 腾讯混元：AI 油腻感重，影视感弱，空间结构不准。 SD 3.5 Large：崩。 文生视频模型： 海螺：语意遵循不错，模型解析有待提高，自带电影滤镜，但有些用力过猛，得益于海量的影视数据。 可灵 1.5：颜色失真，缺少质感，偏科严重，物理规律和提示词遵循较强。 智谱：语意遵循，质感较差，画质一言难尽。 mochi：动态丰富，想象力丰富，美学质感较好。 pd 2.0 pro：PPT 效果，训练数据较少，但是联想启发性很好。 runway：空间感强，语意遵循较差，流体效果一绝。 Seaweed 2.0 pro：质感略弱于可灵 1.5，整体感觉师出同门。 sora：运镜丰富，物理逻辑混乱。 Pixverse v3：动态稳，丝滑，整体美学强于可灵 1.5。 luma 1.6：语意遵循差，提示词随便，动起来算我输。
2025-03-07
文生图模型打分的排行榜
以下是关于文生图模型打分的排行榜相关信息： SuperCLUEImage 测评基准首次公布，DALLE 3 以 76.94 分高居榜首，显示其在图像生成质量、多样性和文本一致性方面的卓越表现。百度文心一格和 vivo 的 BlueLMArt 位列国内前列，但与国际领先模型仍有差距。 在包含人工评估、机器评估的全面评测中，Kolors 具有非常有竞争力的表现，达到业界领先水平。构建了包含 14 种垂类、12 个挑战项、总数量为一千多个 prompt 的文生图评估集 KolorsPrompts。 人工评测方面，邀请了 50 个具有图像领域知识的专业评估人员对不同模型的生成结果进行对比评估，衡量维度为画面质量、图文相关性、整体满意度三个方面。Kolors 在整体满意度方面处于最优水平，其中画面质量显著领先其他模型。具体平均分如下： AdobeFirefly：整体满意度平均分 3.03，画面质量平均分 3.46，图文相关性平均分 3.84。 Stable Diffusion 3：整体满意度平均分 3.26，画面质量平均分 3.5，图文相关性平均分 4.2。 DALLE 3：整体满意度平均分 3.32，画面质量平均分 3.54，图文相关性平均分 4.22。 Midjourneyv5：整体满意度平均分 3.32，画面质量平均分 3.68，图文相关性平均分 4.02。 Playgroundv2.5：整体满意度平均分 3.37，画面质量平均分 3.73，图文相关性平均分 4.04。 Midjourneyv6：整体满意度平均分 3.58，画面质量平均分 3.92，图文相关性平均分 4.18。 Kolors：整体满意度平均分 3.59，画面质量平均分 3.99，图文相关性平均分 4.17。所有模型结果取自 2024.04 的产品版本。
2025-01-07
给文生图ai模型打分的权威标准是什么
给文生图 AI 模型打分的权威标准通常包括以下方面： 1. 图像生成质量：如清晰度、细节丰富程度、色彩准确性等。 2. 多样性：生成图像的风格、主题和表现形式的丰富程度。 3. 文本一致性：生成的图像与输入的文本描述的匹配程度。 在具体的测评中，会构建包含人工评估和机器评估的全面评测内容。人工评测方面，会邀请具有图像领域知识的专业评估人员，从画面质量、图文相关性、整体满意度等维度为生成图像打分。例如，在对 Kolors 与其他模型的比较中，就从这些维度进行了评估。 此外，像 SuperCLUEImage 测评基准首次公布的结果中，DALLE 3 以 76.94 分高居榜首，显示其在图像生成质量、多样性和文本一致性方面的卓越表现。百度文心一格和 vivo 的 BlueLMArt 位列国内前列，但与国际领先模型仍有差距。
2025-01-07
怎么制定模型打分标准
制定模型打分标准可以从以下方面考虑： 1. 对于通用人工智能模型： 模型的参数数量。 数据集的质量或大小，例如通过词元来衡量。 训练模型所用的计算量，以浮点运算数衡量，或由其他变量组合表示，如估计的训练成本、估计的训练所需时间或估计的训练能耗。 模型的输入和输出模式，如文本到文本（大型语言模型）、文本到图像和多模态，以及确定每种模式的高影响能力的先进水平阈值，以及输入和输出的具体类型（如生物序列）。 模型能力的基准和评估，包括考虑无需额外训练的适配任务数量、学习新的独特任务的可适应性、其自主程度和可扩展性、可使用的工具。 由于其覆盖范围，而对内部市场的影响很大，如已提供给至少 10000 个设立在联盟之内的注册商业用户，则应加以推定。 注册的终端部署者数量。 与使用通用人工智能模型有关的相关软件版本，如适用。 结构和参数数量。 输入和输出的模态（如文本、图像）和格式。 模型许可。 模型要件及其开发过程的说明，包括将通用人工智能模型纳入人工智能系统所需的技术手段（如使用说明、基础设施、工具）。 2. 对比不同大型语言模型的性能： 理解能力：评估模型对语言的理解程度，包括对语法、语义、上下文和隐含意义的理解。 生成质量：检查模型生成的文本的质量，包括文本的流畅性、相关性和准确性。 知识广度和深度：评估模型对广泛主题的知识掌握程度，以及它对特定领域或话题的理解深度。 泛化能力：测试模型在处理未见过的任务或数据时的表现，这反映了模型的泛化能力。 鲁棒性：检查模型对错误输入、对抗性输入或模糊不清的指令的应对能力。 偏见和伦理：评估模型生成文本时是否存在偏见，以及模型是否遵循伦理标准。 交互性和适应性：评估模型在交互环境中的表现，包括对用户反馈的适应性和持续对话的能力。 计算效率和资源消耗：考虑模型的大小、训练和运行所需的计算资源。 易用性和集成性：评估模型是否易于集成到不同的应用和服务中，以及提供的 API 和工具的易用性。 为了进行有效的比较，可以采用以下方法：标准基准测试，使用标准的语言模型评估基准，如 GLUE、SuperGLUE、SQuAD 等，这些基准提供了统一的测试环境和评分标准。
2024-09-02
大模型的系统提示词
大模型的系统提示词主要包括以下方面： 1. 在“五津：一键生成‘摸鱼打工猫’视频”中，针对用户选择的主题和回答，总结用户的创作意图，如“打工猫摸鱼的 2 小时，在巴厘岛能看一场日落”，并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词，以数组形式输出到“tishici”，将用户意图输出到“biaoti”。 2. 在“云中江树：智能对决：提示词攻防中的 AI 安全博弈”中，系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意；模型侧对于有能力的厂商应增强安全性并平衡性能，开发者则要在开发中带着安全意识优化系统提示词，加入安全引导和禁止内容等；输出侧可使用传统防御和内容过滤手段，并针对大模型特点进行私有数据泄露等检查。此外，还提到间接注入和提示词泄露的情况，间接注入常发生在应用获取依赖外部数据资源时，攻击者通过隐藏恶意指令完成攻击；提示词泄露指试图操纵模型输出获取部分或全部系统提示词，大模型输出内容可分为系统提示词、用户提示和助手提示词三段，通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash，这3个视觉理解大模型哪个最厉害？
以下是对通义千问 Qwen2.5VL 模型的介绍： 版本：有 3B、7B 和 72B 三个尺寸版本。 主要优势： 视觉理解能力：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。 视频理解能力：支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。 万物识别：擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位：采用矩形框和点的多样化方式对通用物体定位，支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解：提升 OCR 识别能力，增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析：设计了更全面的文档解析格式，称为 QwenVL HTML 格式，能够精准还原文档中的版面布局。 增强的视频理解：引入动态帧率（FPS）训练和绝对时间编码技术，支持小时级别的超长视频理解，具备秒级的事件定位能力。 开源平台： Huggingface：https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope：https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat：https://chat.qwenlm.ai 然而，对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型，目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容，因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看，其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有： 1. 昆仑万维的 SkyReelsV1：它不仅支持文生视频、图生视频，还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。擅长万物识别，能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个： 1. 昆仑万维的 SkyReelsV1：不仅支持文生视频、图生视频，是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元：语义理解能力出色，能精准还原复杂的场景和动作，如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5：全球最快的 AI 视频生成模型，Turbo 模式下可在 10 秒内生成视频，最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能，具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面，较为突出的有 DeepSeek 的 JanusPro 模型，它将图像理解和生成统一在一个模型中；还有通义千问的视觉理解模型，其价格有较大降幅。此外，Pixverse V3.5 是全球最快的 AI 视频生成模型，在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型，因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点： 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验，具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接，产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务，适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景，如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点： 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情，全靠用户脑补，导致用户上头期短，疲劳度高，长期留存低。 3. 无法回答私有领域问题（如公司制度、人员信息等）。 4. 无法及时获取最新信息（如实时天气、比赛结果等）。 5. 无法准确回答专业问题（如复杂数学计算、图像生成等）。
2025-04-14