模型上线以后,怎么知道它开始出错了
编译优化和漏洞检测里的模型,上线时好好的,过一阵就悄悄变差。PROM 用统计检验挑出它没把握的预测,重新标注不到 5% 的样本,就能把效果拉回来。
我们做过一个实验。用 2012 到 2014 年的 CVE 数据训练一个漏洞检测模型,在同一时期的测试数据上,F1 超过 0.8。拿去检测之后几年的代码,F1 掉到了 0.3 以下。
模型没变,变的是代码:新的漏洞写法,新的并发模式,它都没见过。比如 2012 年的一个重复释放,写法很直白;到了 2023 年,同样是重复释放,换成了几个线程同时调用一个释放函数,旧模型就认不出来了。
编译优化里也一样。一个预测循环该怎么向量化、内核该放到哪个设备上的模型,换一批程序,换一代硬件,就可能开始给出差的建议。麻烦的是它不会报错,只是默默给出更差的结果。
难在「不知道」
训练时能做的事很多:多收数据,换更好的表示,做集成。但上线以后会遇到什么,谁也说不准。我们想要的是另一样东西:让部署后的模型能说一句「这个我没把握」。
PROM 的做法
PROM 是我们发表在 CGO 2025 的工作,用的是保形预测(conformal prediction),一种统计检验。训练时留出一小部分数据当校准集,默认是训练数据的 10%,最多 1000 个样本。
上线后,每来一个新输入,PROM 就拿它和校准集里相近的样本比,算出两个分数:可信度和置信度。两个都低于阈值,就说明这个输入已经漂出了模型熟悉的范围,这次的预测不能信。
被标出来的样本不扔掉。它们会被重新标注,比如在编译优化里实际跑一遍测性能,再和原来的训练数据混在一起,增量地更新模型。整个过程不用改模型本身的结构,能直接套在现有模型上。
效果
96%平均识别出的错误预测,最高 100%
< 5%需要重新标注的样本
< 10 毫秒每次算分数的开销
我们在 5 个任务、13 个已有模型上试了 PROM:线程粗化、循环向量化、异构设备映射、漏洞检测和深度学习算子的代码生成。
线程粗化最直观:只重新标注一个被标出的样本,模型的效果就从 Oracle 的 77.6% 回到了 99.0%。漏洞检测更明显:数据漂移之后准确率只剩 13.5%,重新标注不到 5% 的样本,回到 72.5%,相当于训练时的 95.3%。
和同类方法 TESSERACT 比,PROM 的 F1 高 17.6%。开销也小,在一台低配笔记本上,算两个分数不到 10 毫秒,判断有没有漂移不到 2 毫秒。
局限
二分类任务对保形预测来说更难,PROM 有时会把本来对的预测也拒掉,异构设备映射就碰到了这种情况。它依赖模型输出的概率,概率本身不准时效果会打折扣。被拒掉的预测也有代价,要么人工看,要么另外搜一遍,所以阈值要按场景调。
这篇论文拿了 CGO 2025 的杰出论文奖。对我们来说,它回答的是一个很实际的问题:模型交到客户手里以后,什么时候该更新了。