YI EVAL DOCS
把测试,放进你的工作流。
Yi Eval 的文档和产品在一起:从连上第一个 Agent,到数据集、评分器和实验,沙盒里的故障与攻击测试,发布门槛、线上日志和 API。下面是各部分的入口,链接打开当前语言的文档。
快速开始
选一种接法,随时可以换;一个项目可以同时用几种,结果进同一批实验、日志和发布门槛。连 GitHub 仓库,大约 30 分钟跑出第一份报告。SDK、AI Gateway、自带镜像和对话 AI 的接口地址还在开发中。
指南
数据集与评分器
要测的行带版本,来自表格、日志、实验或 AI;内置、评审模型、代码、轨迹和人工评分器。
实验
一个版本在数据集上跑一遍的输出和分数,和基线逐行比较,看哪些变好、哪些变差。
发布门槛
按分数、回归和必跑标签定规则,每个版本一句「可以发布」或「没过发布门槛」。
场景与测试集
让 AI 起草测试、生成攻击测试、导入测试集,定下通过标准。
沙盒运行
开始一次测试、跟进它、取消它,把中途停下的测试跑完。
完整报告
结论,每个问题背后的对话、工具调用和数据检查,以及给编码 AI 的修改意见。
日志
线上发来的追踪:筛选、分面、跨度树,每条带成本和延迟。
在线评分与告警
抽样给线上追踪打分;分数、错误率或成本出问题时发邮件、Slack 或 webhook。
自动化
push、PR 或定时自动跑,在 GitHub 提交上挂检查,或者从你们自己的 CI 发起。
从编码 AI 用平台
开发机上的编码 AI 经 MCP 或 CLI 连上平台:发起测试、读报告、取修改意见。
组织与成员
用物焕芯移账号登录、你的组织、角色和上限。
账单与用量
套餐和本月额度、升级、充值、用量和付款记录。
参考
安全与法律
常见问题
注册需要激活码吗?
不需要。Yi Eval 用物焕芯移账号登录,第一次进来会自动建好你的个人工作区。可以用 GitHub 或 Google 登录;以前的账号关联不上,请联系 admin@nice2.io。
数据存在哪里?
平台存储的一切都在伦敦。云端运行默认也在伦敦,每次一台全新的虚拟机,跑完即删;项目选了在欧盟运行时,在瑞典(欧盟)运行,运行包仍存在伦敦。平台的模型(全球部署,可能在任一区域处理)会收到它要判定或回答的文字,细节见安全说明。代码不能出公司的,用本地测试机。
「通过」是什么意思?
在这次测试的范围内,你们定的通过标准都满足了。范围之外的没有检查,所以通过不等于系统完全安全;没跑完或判断不了的,报告会写明,不算通过。
下一步