如何构建高质量AI评估数据集 - 从0到1实践指南

前言 #

最近在公司的对话式数据分析AI项目中，踩了不少坑，深刻体会到了"无测试，不开发"的真谛。从最初接触评估框架时的一脸懵逼，到现在能够系统性地构建评估体系，确实走了不少弯路。

本文将重点分享评估数据集的准备经验，希望能帮助同样在AI评估领域摸索的同学少走弯路。关于评估框架的详细测评，可以查看本站的评估系列文章。

数据集格式设计 #

作为新手，强烈推荐直接用Excel来准备数据集，简单高效。一条标准评估数据的推荐格式为：

input, output, metadata

根据不同的评估目标，这三个字段的具体内容会有所不同。以我们公司的数据分析问答机器人为例（类似于数据分析领域的ChatGPT），评估用户对话满意度时：

• input：用户的问题，可以包含上下文信息。当包含上下文时，实际上是在测试多轮对话能力。
• output：问题的标准答案，可能包含通过工具调用获取的分析数据。
• metadata：相关上下文信息，比如语种、数据来源、难度等标签信息。

评估器会根据这些信息进行打分和分析。

数据收集策略 #

这个阶段我们主要收集问题，即input。数据收集一般分为两个阶段：

1. 开发阶段 #

在产品尚未上线时，我们主要通过以下方式收集数据：

• 根据产品需求文档，模拟用户可能的提问
• 让团队成员扮演用户角色进行提问
• 利用AI帮助设计多样化的测试问题

2. 产品发布后 #

一旦产品上线，我们开始从真实用户那里收集数据：

• 从日志中提取用户实际提问
• 重点关注用户反馈较差的问题

数据分类体系 #

数据分类对于全面评估系统至关重要。根据我们的场景，我们把测试数据分为三大类：

1. 可解答问题：能够获取到对应分析数据的问题。这类问题用户应该能得到高质量回答。例如：

   "Q1季度销售额与去年同期相比增长了多少？"
   

2. 边界问题：没有对应分析数据的问题。系统应该能够清晰地告知用户原因。例如：

   "我们公司2030年的销售预测是多少？"（数据库中没有未来数据）
   

3. 非相关问题：与数据分析无关的问题。系统应该能识别并适当回应。例如：

   "今天天气如何？"
   "你能帮我写一首诗吗？"
   

在评估实验中，这些分类信息会作为重要的分析维度。

数据使用流程 #

评估过程通常遵循以下步骤：

1. 构建评估任务，将准备好的问题（input）发送给AI代理
2. 记录AI的回答作为实际output
3. 同时记录AI获取的相关数据（我们是通过tool call调API的方式拿后台数据）
4. 根据评估器的不同需求，提供必要的上下文信息
5. 执行评估，获取分数和分析报告

不同的评估维度可能需要不同的output内容。例如，在评估分析准确性时，需要用到相应的数据作为上下文；而在评估回答流畅度时，则更关注文本质量。

数据量规划 #

数据量的规划应该根据项目阶段和评估目标来确定：

我们的经验是，宁可少而精，也不要为了数量而牺牲质量。一个设计良好的小数据集往往比一个杂乱的大数据集更有价值。

实用技巧 #

1. 数据多样性：确保数据集覆盖不同难度、不同领域、不同表达方式的问题
2. 持续更新：根据用户反馈和系统更新，定期更新评估数据集
3. 交叉验证：让多人审核数据集，避免个人偏见

总结与展望 #

构建一个高质量的评估数据集是AI系统开发中不可或缺的环节。通过系统性地收集、分类和使用评估数据，我们能够更客观地衡量系统性能，发现潜在问题，并指导后续优化方向。

目前我们团队仍在这个领域不断探索和实践，后续会持续分享更多经验和心得。如果你有任何问题或建议，欢迎联系我们！

本文是AI评估系列的第一篇，后续将分享更多关于评估指标选择、评估框架对比等内容，敬请关注！