AI 衡量一个AI任务的指标是不是有准确率 和召回率 分别啥区别 在 AI 任务中,常见的衡量指标包括准确率和召回率。准确率(Accuracy)衡量的是模型预测正确的比例。而召回率主要用于信息检索等任务,衡量的是模型能够正确检索出相关内容的比例。
在摘要任务中,一般用 ROUGE 指标,其中 ROUGE2 是把两个 sequence 按 2gram 的方式做切分做频次统计,然后计算 pred 和 gt 之间的召回率。
对于不同的 AI 任务,还有其他多种指标,如在 NLP 中:
信息检索任务常用 NDCG@K 指标,核心衡量最相关文档是否排序足够靠前。
文本生成任务可用 BitsperByte 指标。
针对二分类任务,一般用 ECE 指标(Expected Calibration Error)来度量模型输出概率 p 时,最终正确率真的为 p 的一致性。
此外,还有一些其他方面的评估指标,如不确定性(Calibration and Uncertainty)、鲁棒性(Robustness,包括 invariance 和 equivariance)、公平性(Fairness)、偏见程度(Bias and stereotypes)、有毒性(Toxicity)等。
传统的 RAG 解决方案在检索效率和准确性上存在问题,Anthropic 通过“上下文嵌入”解决了部分问题,但 RAG 的评估仍待解决,研究人员正在探索新的方法,如 Ragnarök。
在提示词设计方面,Claude 官方手册提出“链式提示”的方法理念,将复杂任务拆解为多个步骤,具有准确率高、清晰性好、可追溯性强等好处。ChatGPT 官方手册也有类似理念,同时还有相关论文如在 ICLR 2023 上发表的提出 LeasttoMost Prompting 提示词策略的论文,在文本理解和生成场景中表现优秀。
2025-04-09