模型读得懂代码,却不知道代码怎么跑
同一段代码放到不同的芯片上,快慢、内存、走哪条路径都会变。我们想让模型学会这些。
先看一段再普通不过的代码:
for (int i = 0; i < n; i++)
sum += a[i];随便哪个编码模型都能告诉你它在做什么:把数组加起来。可要是问它,这个循环在一台 x86 服务器、一块 GPU 和一张国产加速卡上各要跑多久,瓶颈在算力还是内存带宽,换个编译选项会不会快一点,它基本只能猜。
原因不复杂。现在的代码模型几乎都是从代码文本里学出来的。它们见过海量的源码、提交记录和讨论,却很少见过代码真正跑起来的样子:花了多少时间,占了多少内存,走了哪些分支,卡在哪一行等数据。这些东西不在文本里。
什么时候会出问题
写日常的业务代码,这个缺口不太显眼。一旦要把系统搬到另一种芯片上,或者要弄清一段代码为什么慢、为什么偶尔崩,只读文本就不够了。
我们在客户那里碰到的,大多是这一类事:模型部署上去了,能跑,但跑不快;换了国产卡,原来依赖的算子用不了;扫描工具报出一大堆漏洞,一半是误报,工程师花在排查上的时间比修的时间还多。
计算世界模型
我们的做法是让模型直接看代码运行。同一段代码,放到不同的架构、设备和输入下真实地跑,把性能、内存和资源占用、执行路径记下来,再让模型从这些数据里学。学出来的东西我们叫计算世界模型:给它一段代码和一个目标环境,它能估计这段代码在那里会怎么表现。
- 代码输入:同一段代码,配上不同的场景和输入。
- 运行并观测:在 CPU、GPU、国产芯片和其他加速器上真实运行,记录运行行为。
- 学习:建模代码在不同硬件上的性能、内存和执行路径。
Meta 去年发布过一个名字很像的 Code World Model。它关心代码算出了什么,在一个 Python 环境里一步步模拟变量和状态。我们关心的是同一段代码在不同芯片上跑得怎么样。两件事都有用,但回答的不是同一个问题。
拿来做什么
眼下主要用在三件事上。
一是安全。知道代码运行时实际走了哪些路径,漏洞检测就不用只看代码长得像不像有问题的代码。
二是性能。知道瓶颈在哪,优化才有方向,也能判断一次改动是不是真的变快了,而不是碰巧在某台机器上快了。
三是迁移。把模型和工具链搬到另一种芯片上时,能提前知道哪些地方要改,改完会不会变慢。
这三件事背后都有我们发表过的论文,后面的文章会一篇篇讲。
还差什么
真实运行的数据很贵。每多支持一种芯片,就要多一批机器、一套环境和大量的运行时间。接下来一年多,我们的重点是在更多硬件上采集运行数据,让模型能直接预测性能、内存和执行路径,再把预测错的样本挖出来,补进训练数据。
如果你手上正好有一批代码要搬到新的芯片上,或者一直说不清某段代码为什么慢,可以来找我们聊聊。