验证
每一轮 Code 都会尽量证明改动没有弄坏原来能用的东西。做法是先在原始代码上跑一次测试命令(基线),Agent 改完后再跑一次,然后给出三种结果之一。
三种结果
| 结果 | 含义 |
|---|---|
| 「验证通过」 | 改动前通过,改动后也通过。 |
| 「验证失败」 | 改动前通过,改动后失败,或者改动后超时。这一轮以失败结束。 |
| 「未验证」 | 没法做可信的对比,下面会写明原因。 |
什么都没跑的时候,绝不会报成通过。「未验证」也不等于失败,改动可能没问题,只是没有被检查过。
怎么选测试命令
如果管理员在「设置」里给项目配了「独立验收命令」,就跑这条命令。否则 Yi Code 在固定的提交上看仓库里有什么文件(不安装任何东西,也不执行仓库里的脚本),按下表顺序取第一个适用、并且运行镜像里有对应工具的:
| 仓库里有 | 命令 |
|---|---|
package.json,且有真正的 test 脚本 | npm test |
pytest.ini、pyproject.toml、setup.cfg、conftest.py 或 tests/ 目录 | 受保护的 Python 测试命令 |
go.mod | go test ./... |
Cargo.toml | cargo test --offline |
pom.xml | mvn -o test |
build.gradle 或 build.gradle.kts | gradle --offline test |
Makefile 里有 test 目标 | make test |
npm 默认生成的占位脚本("no test specified")不算。
Python 项目跑的是起始提交里顶层的 tests/ 目录,单独保存了一份,Agent 改不到。测试放在别处的 Python 项目,或者有 pyproject.toml、setup.cfg 却没有顶层 tests/ 目录的,没有东西可跑,基线就会失败。其他命令在 Agent 改完的工作目录里跑。
默认运行镜像里有 Python 和 Node.js。Go、Rust、Java 或用 make 的项目没有对应工具,结果会是「未验证」,原因是「执行环境缺少所需工具链。」,除非部署用的运行镜像里装了这些工具。
Python 命令
Python 会先导入已安装的 pytest,再把项目加入导入路径。它忽略 PYTHONPATH,只从已安装的包发现插件,并将测试根目录和配置范围固定在受保护的验收副本中。任务原始日志里显示的命令是:
python -I -c "import sys, importlib.metadata as metadata, pytest; installed = list(metadata.distributions()); metadata.distributions = lambda **_: iter(installed); sys.path.extend(['/workspace/repo', '/workspace/repo/src']); raise SystemExit(pytest.main(['-p', 'no:cacheprovider', '--rootdir=/workspace/acceptance', '--confcutdir=/workspace/acceptance', '/workspace/acceptance/tests']))"时间限制
改动前后每次运行测试命令最多 180 秒。基线超时,这一轮是「未验证」;改动后超时,算验证失败。
「未验证」的原因
| 显示 | 原因 | 怎么办 |
|---|---|---|
| 「未找到可用的验证命令。」 | 仓库里没有上表中的文件,项目也没配命令。 | 加一个测试脚本,或者请管理员给项目配验证命令。 |
| 「执行环境缺少所需工具链。」 | 仓库需要的工具运行镜像里没有。 | 换一个带这个工具链的运行镜像。云服务上的镜像由我们维护。 |
| 「原始代码的验证未通过,无法确认本次修改是否引入问题。」 | 测试命令在固定的提交上本来就失败。常见原因有两个,一是依赖不在镜像里,而沙箱没法下载,二是 Python 项目没有顶层的 tests/ 目录。 | 看「原始日志与产物」里的 tests.txt。先在分支上把测试修好,把 Python 测试放到顶层 tests/ 目录或者请管理员给项目配验证命令,也可以照样提改动,自己审阅。 |
| 「原始代码的验证超时。」 | 基线跑了超过 180 秒。 | 让默认的测试命令快一些,或者给项目配一条范围更小的命令。 |
| 「当前执行环境暂不支持验证探测。」 | 这个沙箱里没能执行探测步骤。 | 稍后再试。一直这样就告诉管理员。 |
| 「Ask 为只读问答,本轮未运行修改验证。」 | Ask 不改代码,不需要验证。 | 不用处理。 |
| 「本轮尚未完成验证。」 | 这一轮在验证之前就结束了,比如失败或被取消。 | 看这一轮的失败提示。 |
验证失败时
「修改后的验证未通过。」说明 Agent 弄坏了测试覆盖到的东西。这一轮以失败结束,不能用它创建或更新 PR。
- 打开「原始日志与产物」,看
tests.txt,里面有两次运行的输出。 - 点「查看差异」看改了什么。
- 用 Code 追问,比如「改完后 test_dates.py 里的测试失败了,修好它们,不要改期望值」。下一轮从最近保存的改动开始。
沙箱没有网络
沙箱没有出站网络。测试命令不能执行 npm install、pip install,也连不上外网的数据库。测试需要的东西必须已经在运行镜像里或者仓库里。依赖外部服务的测试会让基线失败,这一轮就是「未验证」。