Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

测试集

Answer

以下是关于测试集的相关信息：

  • Meta 开源视频生成模型的测试集包括 Movie Gen Video Bench 和 Audio Bench。Movie Gen Video Bench 是目前规模最大、最全面的视频生成评估基准，包含 1000 多个提示词，涵盖多种概念并有不同运动幅度的测试。Movie Gen Audio Bench 用于评估视频音效生成及视频配音能力，包含 527 个视频及相应提示。
  • 2023 年度中文大模型基准测评采用多维度、多视角的综合性测评方案，由多轮开放问题 SuperCLUE-OPEN 和三大能力客观题 SuperCLUE-OPT 两部分测评结果组成。评测集共 4273 题，其中 1060 道多轮简答题（OPEN），3213 道客观选择题（OPT）。测评采用待评估模型与基准模型对比，由超级模型评判，计算胜和率作为 OPEN 得分，最终 OPEN 分=0.7OPEN 分+0.3OPT 分，并经过人工校验。
  • 在嵌入（Embeddings）相关内容中，通过对用户和产品的所有评论进行平均获得嵌入，并在单独的测试集上评估其有用性，发现甚至在用户收到产品之前，就可以比随机预测更好地预测用户是否喜欢该产品。此外，嵌入在聚类和文本搜索任务中也有应用。
Content generated by AI large model, please carefully verify (powered by aily)

References

宝玉 日报

?宝玉日报「10月18日」✨✨✨✨✨✨✨✨1⃣️?Meta开源视频生成模型的测试集：Movie Gen Video Bench和Audio BenchMovie Gen Video Bench：目前规模最大、最全面的视频生成评估基准，包含1000多个提示词，涵盖人类活动、动物、自然景象、物理现象等概念，并有高、中、低运动幅度的测试。Movie Gen Audio Bench：评估视频音效生成及视频配音能力，包含527个视频及相应的音效和音乐提示。?[https://x.com/op7418/status/1847121108874809381](https://x.com/op7418/status/1847121108874809381)2⃣️?OpenAI Canvas新增历史版本对比功能基于服务端实现，可以查看项目的历史版本并进行对比，方便追踪和管理内容的变化。?[https://x.com/OpenAI/status/1847016089202610235](https://x.com/OpenAI/status/1847016089202610235)?[https://x.com/dotey/status/1847117889641292114](https://x.com/dotey/status/1847117889641292114)3⃣️?️OpenAI发布gpt-4o-audio-preview模型，支持异步语音交互

2023年度中文大模型基准测评报告.pdf

对大模型研发机构及应用开发者，为优化模型和场景应用提供了相对全面的视角。测评方法持续扩充C L U E测评组OPEN在一个确定的评估标准指导下，OPEN基准使用超级模型作为评判官，使用一个待评估模型与一个基准模型进行对比，让超级模型选出A模型好，B模型好，或平局。进而计算胜和率作为OPEN得分。为更真实反应大模型能力，本次测评采用多维度、多视角的综合性测评方案，由多轮开放问题SuperCLUE-OPEN和三大能力客观题SuperCLUE-OPT两部分测评结果组成。评测集共4273题，其中1060道多轮简答题（OPEN），3213道客观选择题（OPT），以下为评测集与测评方法简述。评测反馈10万+题库被测模型A（如文心一言）VS多轮基线模型B（如GPT3.5）SuperCLUE总分不重复抽样5000原始评测集裁判模型（如GPT4-Turbo）胜(3分)、和(1分)、负(0分)OPEN分=胜和率=0.7*OPEN分+0.3*OPT分人工校验4273道评测题OPT

嵌入（Embeddings）

[User_and_product_embeddings.ipynb](https://github.com/openai/openai-cookbook/blob/main/examples/User_and_product_embeddings.ipynb)我们可以通过对他们的所有评论进行平均来获得用户嵌入。同样，我们可以通过对有关该产品的所有评论进行平均来获得产品嵌入。为了展示这种方法的实用性，我们使用50k评论的子集来覆盖每个用户和每个产品的更多评论。我们在单独的测试集上评估这些嵌入的有用性，我们将用户和产品嵌入的相似性绘制为评分的函数。有趣的是，基于这种方法，甚至在用户收到产品之前，我们就可以比随机预测更好地预测他们是否喜欢该产品。[heading3]聚类[content][Clustering.ipynb](https://github.com/openai/openai-cookbook/blob/main/examples/Clustering.ipynb)聚类是理解大量文本数据的一种方式。嵌入对于这项任务很有用，因为它们提供了每个文本的语义上有意义的向量表示。因此，以一种无监督的方式，聚类将揭示我们数据集中隐藏的分组。在这个例子中，我们发现了四个不同的集群：一个专注于狗食，一个专注于负面评论，两个专注于正面评论。[heading3]使用嵌入的文本搜索[content][Semantic_text_search_using_embeddings.ipynb](https://github.com/openai/openai-cookbook/blob/main/examples/Semantic_text_search_using_embeddings.ipynb)为了检索最相关的文档，我们使用查询的嵌入向量与每个文档之间的余弦相似度，并返回得分最高的文档。

Others are asking
基于规则的测试生成： 测试用例生成工具： Randoop：基于代码路径和规则生成测试用例，适用于 Java 应用程序。这个应该怎样使用呢
很抱歉，目前没有关于 Randoop 工具使用方法的相关内容。您可以通过以下途径获取更详细的信息： 1. 官方文档：访问 Randoop 的官方网站，查找其提供的详细使用说明和教程。 2. 技术论坛：在相关的技术论坛上搜索关于 Randoop 使用的讨论和经验分享。 3. 开源社区：参与开源社区中关于 Randoop 的交流，向其他开发者请教。
2025-04-08
如何使用AI给测试进行提效
以下是关于如何使用 AI 给测试提效的详细内容： 1. 基于规则的测试生成： 测试用例生成工具： Randoop：基于代码路径和规则生成测试用例，适用于 Java 应用程序。 Pex：微软开发的智能测试生成工具，自动生成高覆盖率的单元测试，适用于.NET 应用。 模式识别： Clang Static Analyzer：利用静态分析技术识别代码模式和潜在缺陷，生成相应的测试用例。 Infer：Facebook 开发的静态分析工具，自动生成测试用例，帮助发现和修复潜在错误。 2. 基于机器学习的测试生成： 深度学习模型： DeepTest：利用深度学习模型生成自动驾驶系统的测试用例，模拟不同驾驶场景，评估系统性能。 DiffTest：基于对抗生成网络（GAN）生成测试用例，检测系统的脆弱性。 强化学习： RLTest：利用强化学习生成测试用例，通过与环境交互学习最优测试策略，提高测试效率和覆盖率。 A3C：基于强化学习的测试生成工具，通过策略梯度方法生成高质量测试用例。 3. 基于自然语言处理（NLP）的测试生成： 文档驱动测试生成： Testim：AI 驱动的测试平台，通过分析文档和用户故事自动生成测试用例，减少人工编写时间。 Test.ai：利用 NLP 技术从需求文档中提取测试用例，确保测试覆盖业务需求。 自动化测试脚本生成： Selenium IDE + NLP：结合 NLP 技术扩展 Selenium IDE，从自然语言描述中生成自动化测试脚本。 Cucumber：使用 Gherkin 语言编写的行为驱动开发（BDD）框架，通过解析自然语言描述生成测试用例。 4. 基于模型的测试生成： 状态模型： GraphWalker：基于状态模型生成测试用例，适用于复杂系统的行为测试。 Spec Explorer：微软开发的模型驱动测试工具，通过探索状态模型生成测试用例。 场景模拟： Modelbased Testing：基于系统模型自动生成测试用例，覆盖各种可能的操作场景和状态转换。 Tosca Testsuite：基于模型的测试工具，自动生成和执行测试用例，适用于复杂应用的端到端测试。 5. 实践中的应用示例： Web 应用测试：使用 Testim 分析用户行为和日志数据，自动生成高覆盖率的测试用例，检测不同浏览器和设备上的兼容性问题。 移动应用测试：利用 Test.ai 从需求文档中提取测试用例，确保覆盖关键功能和用户路径，提高测试效率和质量。 复杂系统测试：采用 GraphWalker 基于系统状态模型生成测试用例，确保覆盖所有可能的状态和操作场景，检测系统的边界情况和异常处理能力。 总结：AI 在生成测试用例方面具有显著的优势，可以自动化和智能化生成高覆盖率的测试用例，减少人工编写测试用例的时间和成本。通过合理应用 AI 工具，前端开发工程师可以提高测试效率、增强测试覆盖率和发现潜在问题，从而提升软件质量和用户体验。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-04-08
如何自动编写测试用例
AI 自动编写测试用例可以通过以下几种方式实现： 1. 基于规则的测试生成： 测试用例生成工具： Randoop：基于代码路径和规则生成测试用例，适用于 Java 应用程序。 Pex：微软开发的智能测试生成工具，自动生成高覆盖率的单元测试，适用于.NET 应用。 模式识别： Clang Static Analyzer：利用静态分析技术识别代码模式和潜在缺陷，生成相应的测试用例。 Infer：Facebook 开发的静态分析工具，自动生成测试用例，帮助发现和修复潜在错误。 2. 基于机器学习的测试生成： 深度学习模型： DeepTest：利用深度学习模型生成自动驾驶系统的测试用例，模拟不同驾驶场景，评估系统性能。 DiffTest：基于对抗生成网络（GAN）生成测试用例，检测系统的脆弱性。 强化学习： RLTest：利用强化学习生成测试用例，通过与环境交互学习最优测试策略，提高测试效率和覆盖率。 A3C：基于强化学习的测试生成工具，通过策略梯度方法生成高质量测试用例。 3. 基于自然语言处理（NLP）的测试生成： 文档驱动测试生成： Testim：AI 驱动的测试平台，通过分析文档和用户故事自动生成测试用例，减少人工编写时间。 Test.ai：利用 NLP 技术从需求文档中提取测试用例，确保测试覆盖业务需求。 自动化测试脚本生成： Selenium IDE + NLP：结合 NLP 技术扩展 Selenium IDE，从自然语言描述中生成自动化测试脚本。 Cucumber：使用 Gherkin 语言编写的行为驱动开发（BDD）框架，通过解析自然语言描述生成测试用例。 4. 基于模型的测试生成： 状态模型： GraphWalker：基于状态模型生成测试用例，适用于复杂系统的行为测试。 Spec Explorer：微软开发的模型驱动测试工具，通过探索状态模型生成测试用例。 场景模拟： Modelbased Testing ：基于系统模型自动生成测试用例，覆盖各种可能的操作场景和状态转换。 Tosca Testsuite：基于模型的测试工具，自动生成和执行测试用例，适用于复杂应用的端到端测试。 实践中的应用示例： 1. Web 应用测试：使用 Testim 分析用户行为和日志数据，自动生成高覆盖率的测试用例，检测不同浏览器和设备上的兼容性问题。 2. 移动应用测试：利用 Test.ai 从需求文档中提取测试用例，确保覆盖关键功能和用户路径，提高测试效率和质量。 3. 复杂系统测试：采用 GraphWalker 基于系统状态模型生成测试用例，确保覆盖所有可能的状态和操作场景，检测系统的边界情况和异常处理能力。 总结：AI 在生成测试用例方面具有显著的优势，可以自动化和智能化生成高覆盖率的测试用例，减少人工编写测试用例的时间和成本。通过合理应用 AI 工具，前端开发工程师可以提高测试效率、增强测试覆盖率和发现潜在问题，从而提升软件质量和用户体验。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-04-01
如何使用AI创建测试用例
AI 生成测试用例可以通过以下多种方法实现： 1. 基于规则的测试生成： 测试用例生成工具：如 Randoop（适用于 Java 应用程序）、Pex（适用于.NET 应用）。 模式识别：如 Clang Static Analyzer 利用静态分析技术识别代码模式和潜在缺陷生成相应测试用例，Infer 自动生成测试用例帮助发现和修复潜在错误。 2. 基于机器学习的测试生成： 深度学习模型：如 DeepTest 生成自动驾驶系统的测试用例，DiffTest 基于对抗生成网络（GAN）生成测试用例。 强化学习：如 RLTest 通过与环境交互学习最优测试策略，A3C 通过策略梯度方法生成高质量测试用例。 3. 基于自然语言处理（NLP）的测试生成： 文档驱动测试生成：如 Testim 通过分析文档和用户故事自动生成测试用例，Test.ai 从需求文档中提取测试用例。 自动化测试脚本生成：如 Selenium IDE 结合 NLP 技术扩展从自然语言描述中生成自动化测试脚本，Cucumber 使用 Gherkin 语言编写的行为驱动开发（BDD）框架通过解析自然语言描述生成测试用例。 4. 基于模型的测试生成： 状态模型：如 GraphWalker 基于状态模型生成测试用例，Spec Explorer 微软开发的模型驱动测试工具通过探索状态模型生成测试用例。 场景模拟：如 Modelbased Testing 基于系统模型自动生成测试用例覆盖各种可能的操作场景和状态转换，Tosca Testsuite 基于模型的测试工具自动生成和执行测试用例适用于复杂应用的端到端测试。 5. 实践中的应用示例： Web 应用测试：使用 Testim 分析用户行为和日志数据自动生成高覆盖率的测试用例检测不同浏览器和设备上的兼容性问题。 移动应用测试：利用 Test.ai 从需求文档中提取测试用例确保覆盖关键功能和用户路径提高测试效率和质量。 复杂系统测试：采用 GraphWalker 基于系统状态模型生成测试用例确保覆盖所有可能的状态和操作场景检测系统的边界情况和异常处理能力。 此外，让 AI 写出您想要的代码，可以通过创建优质的.cursorrules 来实现，具体包括： 1. 先说清楚您是谁，让 AI 按照专家的水准来思考和编码。 2. 告诉 AI 您要干什么，使其围绕目标写代码。 3. 定好项目的“规矩”，强调团队的代码规范。 4. 明确文件放置位置，便于后期查找。 5. 指定使用的“工具”，保证项目的整洁和统一。 6. 告诉 AI 怎么做测试，使其生成的代码考虑可测试性并主动写测试用例。 7. 推荐参考资料，让 AI 基于最佳实践写代码。 8. 若项目涉及页面开发，补充 UI 的要求。
2025-03-22
测试大模型工具·
以下是关于测试大模型工具的相关内容： 使用 Coze IDE 创建插件： 网页搜索工具的元数据配置说明： 名称：建议输入清晰易理解的名称，便于后续大语言模型搜索与使用工具。 描述：用于记录当前工具的用途。 启用：若工具未开发测试完成，建议先禁用；若需下线某一工具，可将其设置为禁用，或删除插件等。 输入参数：准确、清晰易理解的参数名称等信息，可让大语言模型更准确使用工具。 输出参数：准确、清晰易理解的参数名称等信息，可让大语言模型更准确使用工具。 操作步骤：在页面右侧单击测试代码图标并输入所需参数，然后单击 Run 测试工具。若在元数据设置了输入参数，可单击自动生成图标，由 IDE 生成模拟数据，调整参数值即可进行测试。 获取字节火山 DeepSeek 系列 API 完整教程及使用方法： 可使用网页聊天和测试等方式。 例如用“2024 年高考全国甲卷理科数学”压轴题测试火山引擎的 DeepSeekR1 的速度，其推理速度比官方版本快，接口延迟低，回复迅速。 无需微调，仅用提示词工程就能让 LLM 获得 tool calling 的功能： 绝大多数小型本地开源大语言模型以及部分商用大模型接口不支持稳定的 tool calling 功能，现有的微调 LLM 解决方案会浪费大量时间和算力。本文提出仅使用提示词工程和精巧的代码设计，即可让 LLM 获得稳定的 tool calling 能力，使用多个不具备该功能的 LLM 作为测试模型，在多个工具调用任务上实验成功率为 100%，基于 comfyui 开发，适合无代码基础的人员复现和修改。
2025-03-19
什么样的数据集适合测试大语言模型？
以下是一些适合测试大语言模型的数据集： Guanaco：地址为，是一个使用 SelfInstruct 的主要包含中日英德的多语言指令微调数据集。 chatgptcorpus：地址为，开源了由 ChatGPT3.5 生成的 300 万自问自答数据，包括多个领域，可用于训练大模型。 SmileConv：地址为，数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话，含有 56k 个多轮对话，其对话主题、词汇和篇章语义更加丰富多样，更符合长程多轮对话的应用场景。 用于评估大语言模型的框架和基准有： GAOKAOBench：地址为，是以中国高考题目为数据集，测评大模型语言理解能力、逻辑推理能力的测评框架，收集了 2010 2022 年全国高考卷的题目，包括 1781 道客观题和 1030 道主观题。 AGIEval：地址为，是由微软发布的新型基准测试，选取 20 种面向普通人类考生的官方、公开、高标准往常和资格考试，包括普通大学入学考试（中国高考和美国 SAT 考试）、法学入学考试、数学竞赛、律师资格考试、国家公务员考试等。 Xiezhi：地址为，是由复旦大学发布的一个综合的、多学科的、能够自动更新的领域知识评估 Benchmark，包含 13 个学科门类，24 万道学科题目，516 个具体学科，249587 道题目。 此外，在多语言能力评测方面，还使用了以下数据集： MMMLU：来自 Okapi 的多语言常识理解数据集，在阿、德、西、法、意、荷、俄、乌、越、中这几个子集进行测试。 MGSM：包含德、英、西、法、日、俄、泰、中和孟在内的数学评测。针对人工评测，使用内部评估集比较了 Qwen272BInstruct 与 GPT3.5、GPT4 和 Claude3Opus，该评测集包括 10 种语言：ar（阿拉伯语）、es（西班牙语）、fr（法语）、ko（韩语）、th（泰语）、vi（越南语）、pt（葡萄牙语）、id（印度尼西亚语）、ja（日语）和 ru（俄语）。
2025-03-17