数据目录
| 分类 | 数据 | 对应 benchmark / 能力 | 一条数据 | 样例 | 状态 |
|---|---|---|---|---|---|
| 编程与终端 Agent | Terminal-Bench 任务 | 对应:Terminal-Bench 4.0 | 一个 Harbor 任务目录,含校验器和参考解 | 3 道样题 | 现货 |
| 多轮编程 Agent 轨迹 | 对应:SWE | 一个会话:一个 JSONL 文件,每行一次 API 调用 | 5 段会话节选 | 现货 | |
| 电脑操作 Agent | 长程电脑操作工作流 | 对应:OSWorld 2.0 | 一个任务环境 + 一条专家轨迹 | 7 道样题 | 按需生产 |
| 3D、图形与游戏 | Blender 3D 场景搭建 | 对应:Blender 3D 建模 | 一个成品 .blend 场景及其完整的请求级轨迹 | 10 条样例 | 按需生产 |
| 浏览器 3D 游戏开发轨迹 | 对应:长程前端与游戏开发 | 一个游戏:源码、逐轮需求和完整开发轨迹 | 3 个样例游戏 | 按需生产 |
按需定制
可指定的内容包括但不限于以下几项,其他需求也都可以商量。
- 对标 benchmark 与交付格式
- 对标哪个 benchmark,数据以什么格式交付。
- 领域和配比
- 领域、编程语言、应用和任务类型,以及各自的占比。
- 难度
- 对标的模型和要达到的通过率区间。
- 轨迹
- 产出轨迹的模型、Agent 框架和工具。
- 数量和排期
- 交付数量和时间安排。
- 授权
- 是否独家、保留期限、能否公开发表。
想提升模型的哪项能力?
来信告诉我们,我们会回复样例和规格说明。