Skip to content

验证 ​

每一轮 Code 都会尽量证明改动没有弄坏原来能用的东西。做法是先在原始代码上跑一次测试命令(基线),Agent 改完后再跑一次,然后给出三种结果之一。

三种结果 ​

结果含义
「验证通过」改动前通过,改动后也通过。
「验证失败」改动前通过,改动后失败,或者改动后超时。这一轮以失败结束。
「未验证」没法做可信的对比,下面会写明原因。

什么都没跑的时候,绝不会报成通过。「未验证」也不等于失败,改动可能没问题,只是没有被检查过。

怎么选测试命令 ​

如果管理员在「设置」里给项目配了「独立验收命令」,就跑这条命令。否则 Yi Code 在固定的提交上看仓库里有什么文件(不安装任何东西,也不执行仓库里的脚本),按下表顺序取第一个适用、并且运行镜像里有对应工具的:

仓库里有命令
package.json,且有真正的 test 脚本npm test
pytest.ini、pyproject.toml、setup.cfg、conftest.py 或 tests/ 目录受保护的 Python 测试命令
go.modgo test ./...
Cargo.tomlcargo test --offline
pom.xmlmvn -o test
build.gradle 或 build.gradle.ktsgradle --offline test
Makefile 里有 test 目标make test

npm 默认生成的占位脚本("no test specified")不算。

Python 项目跑的是起始提交里顶层的 tests/ 目录,单独保存了一份,Agent 改不到。测试放在别处的 Python 项目,或者有 pyproject.toml、setup.cfg 却没有顶层 tests/ 目录的,没有东西可跑,基线就会失败。其他命令在 Agent 改完的工作目录里跑。

默认运行镜像里有 Python 和 Node.js。Go、Rust、Java 或用 make 的项目没有对应工具,结果会是「未验证」,原因是「执行环境缺少所需工具链。」,除非部署用的运行镜像里装了这些工具。

Python 命令 ​

Python 会先导入已安装的 pytest,再把项目加入导入路径。它忽略 PYTHONPATH,只从已安装的包发现插件,并将测试根目录和配置范围固定在受保护的验收副本中。任务原始日志里显示的命令是:

sh
python -I -c "import sys, importlib.metadata as metadata, pytest; installed = list(metadata.distributions()); metadata.distributions = lambda **_: iter(installed); sys.path.extend(['/workspace/repo', '/workspace/repo/src']); raise SystemExit(pytest.main(['-p', 'no:cacheprovider', '--rootdir=/workspace/acceptance', '--confcutdir=/workspace/acceptance', '/workspace/acceptance/tests']))"

时间限制 ​

改动前后每次运行测试命令最多 180 秒。基线超时,这一轮是「未验证」;改动后超时,算验证失败。

「未验证」的原因 ​

显示原因怎么办
「未找到可用的验证命令。」仓库里没有上表中的文件,项目也没配命令。加一个测试脚本,或者请管理员给项目配验证命令。
「执行环境缺少所需工具链。」仓库需要的工具运行镜像里没有。换一个带这个工具链的运行镜像。云服务上的镜像由我们维护。
「原始代码的验证未通过,无法确认本次修改是否引入问题。」测试命令在固定的提交上本来就失败。常见原因有两个,一是依赖不在镜像里,而沙箱没法下载,二是 Python 项目没有顶层的 tests/ 目录。看「原始日志与产物」里的 tests.txt。先在分支上把测试修好,把 Python 测试放到顶层 tests/ 目录或者请管理员给项目配验证命令,也可以照样提改动,自己审阅。
「原始代码的验证超时。」基线跑了超过 180 秒。让默认的测试命令快一些,或者给项目配一条范围更小的命令。
「当前执行环境暂不支持验证探测。」这个沙箱里没能执行探测步骤。稍后再试。一直这样就告诉管理员。
「Ask 为只读问答,本轮未运行修改验证。」Ask 不改代码,不需要验证。不用处理。
「本轮尚未完成验证。」这一轮在验证之前就结束了,比如失败或被取消。看这一轮的失败提示。

验证失败时 ​

「修改后的验证未通过。」说明 Agent 弄坏了测试覆盖到的东西。这一轮以失败结束,不能用它创建或更新 PR。

  1. 打开「原始日志与产物」,看 tests.txt,里面有两次运行的输出。
  2. 点「查看差异」看改了什么。
  3. 用 Code 追问,比如「改完后 test_dates.py 里的测试失败了,修好它们,不要改期望值」。下一轮从最近保存的改动开始。

沙箱没有网络 ​

沙箱没有出站网络。测试命令不能执行 npm install、pip install,也连不上外网的数据库。测试需要的东西必须已经在运行镜像里或者仓库里。依赖外部服务的测试会让基线失败,这一轮就是「未验证」。