博客

大模型能修好内存漏洞吗

我们用 SecureMind 测了 10 个大模型。修复最好的 o1 只修好了 37.1%,需要改多个函数的漏洞一个都没修好;检测也很容易被一个变量名带偏。

Chromium 团队统计过,他们最严重的安全漏洞里有 70% 跟内存有关:越界读写,释放后使用,重复释放,空指针。这类漏洞在 C 和 C++ 项目里最多,也最难查。

现在不少团队开始让大模型帮忙找漏洞、写补丁。问题是,怎么知道它到底行不行?

现在的测法

已有的基准大多是人工编的测试用例,或者像编程竞赛、课堂作业那样的题,和真实项目里的漏洞差得远。更麻烦的是数据泄漏:公开的漏洞和补丁,很可能已经在模型的训练数据里了,测出来的分数会虚高。

SecureMind

SecureMind 是我们发表在 ISMM 2025 的开源框架,代码在 GitHub。写一份几十行的测试计划,指定要测的模型和它的训练截止日期,剩下的交给它:

  • 从 NVD、GitHub 安全公告等 6 个来源收集 CVE,只留模型训练截止之后公开的,免得它背过答案。
  • 从修复提交里取出有漏洞的函数和修好的版本,混在一起让模型判断。
  • 用 14 种方式改写代码,比如改名字、加死代码、加误导人的注释,看模型会不会被带偏。
  • 判断补丁时,先用 CodeQL 看漏洞修没修掉、有没有引入新问题,再编译,跑项目自己的测试。

测出来的结果

37.1%修复成功率最高的模型,o1

3.3%最低的,Qwen2.5-7B

0 / 9需要改多个函数的漏洞

我们测了 10 个模型,包括 o1、GPT-4o、DeepSeek-R1、DeepSeek-V3、Gemini 和 Llama,覆盖 8 类内存漏洞,前后用了 5000 多个 CPU 小时、100 多亿个 token。

修复是最弱的一环。每个漏洞给 10 次机会,有一次通过测试就算修好,最好的 o1 也只修好了 37.1%,最差的 3.3%。有 9 个漏洞要同时改几个函数,就算把相关代码全给了模型,也没有一个修好。更常见的情况是,模型找对了位置,写出来的补丁却是错的。

检测很容易被带偏。一个包着 gets() 的宏,名字叫 safe_input,Gemini 2.0 Flash 就认为它安全。插一行无关的代码,Llama 3.3 70B 就漏掉了一个释放后使用。还有一个让我们印象很深:一个已经修好的重复释放,同样的提示词,温度设成 0,GPT-4o 跑 10 次,有 1 次说它有漏洞。

也有好的一面。在 Linux 内核的 76 个 CVE 上,GPT-4o 找出了 41 个,CodeQL 找出了 6 个。只是它给的理由不总是对的,有时结论对、原因错。

我们的看法

大模型已经能在找漏洞上帮上忙,但离把修复直接交给它还远。它需要更多上下文,需要一个真能编译、跑测试的环境,也需要有人或工具去核对它的结论。这也是我们后来做可验证的编码智能体的原因。

这项工作也有局限。修复部分只用了 23 个能拿到官方补丁和测试的真实漏洞,样本不大;模型更新很快,这些数字只代表测试时的那一版。

论文 · ISMM 2025SecureMind: A Framework for Benchmarking Large Language Models in Memory Bug Detection and Repair

BLOG

更多文章

下一步

让 AI 懂代码怎么跑。

联系我们