新浪科技 股票

对AI说「下次注意」没用!马斯克麾下工程师:把纠错锁进代码

市场资讯 11.21 13:39

(来源:新智元)

新智元报道

AI写代码的速度,早已超出了人类的审核极限。

近期的AI Engineer大会上,SpaceXAI首席工程师Lauren Tan(网名Potato)提到,上个月她一个人往线上合了3000个PR。

据她说,相当一部分,是在她睡觉时自动合进去的。

Lauren单月交付上线的PR数量,从3月的68个增至10月的3127个。

Lauren说,以前只有像Bret Taylor这种「一个周末重写整个Google Maps」的狠人,才配叫「写码机器」。

如今有了Agent,是个程序员都能变身「写码机器」。

但副作用大家也都领教过:产量翻十倍,烂代码(Slop)翻百倍。

可是从Lauren晒出的另一组数据来看,她所在的Grok Bot团队像是一个反例。

上个月,整个团队合入约1.1万个PR,基本每天发一个稳定版。

仅10月,就有约227人提交过代码,不少还是对项目并不熟、偶尔顺手提一把的「路人」贡献者。

按常理,这么多生手混着AI往里猛灌代码,项目早该炸锅了。

可根据她展示的图表,PR回滚率从6月的0.98%,降到了10月的0.47%,已经连续三个月保持在0.5%左右。

6月至10月,代码提交回退率从0.98%降至0.47%。

花6个月跑通这套体系后,Lauren的秘诀其实只有一句话:别指望靠提示词把AI劝好,要把每一次纠错锁死在代码里。

你说的「下次注意」

AI转头就忘

2024年,Lauren上班要审的,不过是同事写的3个PR。

如今,这个数字已直奔300而去。

每个工程师背后,都有成百上千个智能体。代码则像拧开的水龙头,昼夜不停地涌进来。整个代码库,几乎成了自己疯长的活物。

麻烦也正在这儿:AI是照着代码库写代码的。

旧代码里只要留着一处烂写法,下一个智能体就分不清那是历史欠账还是最佳实践。在它们眼里那就是团队的「祖传规矩」,照抄准没错。

正因如此,Lauren把管代码库比作打理花园。

架构约束和护栏是混凝土地基,新代码顺着它往上长。烂代码就是杂草和害虫,今天放任两株冒头,明天一睁眼,可能已经满院荒芜。

更隐蔽的坑,藏在AI写的「说明文字」里。

不管是文档、代码注释,还是规则文件与skill,AI都特别爱写小作文,而且经常走向两个极端。

一个极端,是遇到难啃的硬骨头,它在注释里长篇大论,替自己「为什么没按规矩来」找借口;

另一个极端,是你随口纠正一个特殊场景下的小细节,它却会矫枉过正,当成雷打不动的规矩死守。

Lauren在Cursor亲历过一个典型「惨案」。

当时AI特别喜欢用setTimeout、requestAnimationFrame、requestIdleCallback这类命令式定时器去打补丁。

背后根因,还是团队自己埋下的架构冲突:VS Code底子是命令式写法,React界面是声明式写法,两套逻辑在底层就扭着劲。

AI搞不定这个别扭架构,干脆狂塞定时器糊弄过关,还顺手在旁边写满注释,论证这个补丁打得有多合理。

下一个智能体一看,有代码又有「权威解释」,立刻有样学样。

转眼间,定时器就在整个代码库里疯狂繁殖。

修复闪烁的临时补丁被不断复制,一个多月后变成183个定时器。

大量定时器反复创建又销毁,引爆高频垃圾回收,把应用卡成了幻灯片。

Lauren复盘时一点也没留情:架构,把客户端和智能体的表现一块儿拖垮了。

靠嘴劝AI「下次注意」,或者往AGENTS.md里再塞一行字,本质上都是在赌AI自觉。

在日均几百个PR的洪流面前,软规矩守不住底线,必须上硬手段。

把纠错写进代码

那程序员的精力该花在哪儿?

Lauren画了一座「倒金字塔」。

从代码约束到验证,再到文字规则的投入层次。

最上面两层最宽,全是确定性防线,也是最该下功夫的地方:

第一层是代码本身,包括API设计、架构边界与重构;

第二层是静态检查,涵盖lint(自动挑刺的代码检查器,违规当场报错)、类型系统、编译器和各类测试。

中间一层,是运行时验证与形式化验证。

最底下的塔尖,才是AGENTS.md、规则和skill这类需要靠判断理解的自然语言。

落到实处,Grok Bot先亮出了「拦」的三招。

第一招:需要拿捏分寸的API,直接封杀。

团队专门给Grok Bot造了个客户端框架Dune,可以理解成Electron版的Next.js。

Dune在技术上没什么可炫的,它把桌面应用踩过的很多坑,都写死成了硬约束。

其中一条血泪教训是:凡是得靠「微妙分寸感」才能用好的东西,交给AI,最后多半都会变成烂代码。

最典型的重灾区,就是React里的useEffect。

前端圈常自嘲「得考个博士学位才用得好useEffect」,人类尚且经常踩坑,更别说AI了。

Grok Bot的做法是:在业务代码里全面封杀useEffect,只允许Dune底层极少数内部API调用。

这一刀切下去,整类问题直接绝迹,代码审查时再也不用费眼神去盯。

第二招:用目录结构划死楚河汉界。

早先在Cursor,AI经常顺手把主线程代码,塞进负责画界面的渲染线程。渲染线程被拖住,用户一操作就卡顿、掉帧。

到了Grok Bot和Dune里,团队把规矩定死了:

顶层直接设好electron renderer和electron main两个目录,配上依赖图分析器和lint规则,严禁两边互相引用。

这个规则不难写,代码审查单上也少了一件烦心事。

第三招:砍掉99%的注释,换成会指路的lint报错。

吸取了当年定时器泛滥的教训,Grok Bot直接禁掉了99%的代码注释。

理由是注释写完就容易过时,人类也没功夫读。

更糟的是,注释相当于给AI留了一条「逃生通道」:修根因太难,写段注释解释自己为什么偷懒可太容易了。

何况注释也没有任何强制执行力,你苦口婆心留一行字提醒下一个智能体别踩坑,它完全可能视而不见。

Grok的替代方案,是用lint当场拦截。

报错信息直接把根因和正确改法喂到AI嘴里,逼它正面修好架构问题,断掉绕路打补丁的念想。

说到底,注释只能劝AI向善,lint才能逼AI就范。

踩一次坑,就补一道静态检查,或者升级API把坑彻底填平。

这事儿做多了,人工审查要盯的细节会越来越少。

直到某天你突然发现已经没什么可审的了:绝大部分PR,大可放手让AI自己合入。

让AI自己交证据

不逐行看代码,万一AI写出语法全对、逻辑全歪的bug怎么办?

Lauren的答案是:不审代码行,改审「呈堂证供」。

如今Grok Bot的代码审查,已经浓缩成检阅验证产物:录屏视频、界面截图、状态流转图,以及形式化验证报告。

第四招:发一张「功能地图」,配一套固定工具箱。

最基础的一步叫运行时验证。

即让AI自己把应用跑起来,调用Chrome DevTools协议这类人类也在用的调试工具自查。

为了让AI找准方向,团队在验证skill里塞了一张「功能地图」。它像网站的站点地图一样,从用户视角把应用里的功能列得很明白。

这样你随口说一句「改下左边栏那个东西」,AI再也不用白烧token瞎猜组件名。

功能地图明确三件事:有哪些功能、用户如何进入、怎样验证有效。

同时,skill里还内置了专门定制的命令行工具和驱动。

AI每次验证直接复用现成工具,不用每回从头现写测试脚本,既砍掉了大把token消耗,工具本身还能被单独测试。

第五招:形式化验证。

针对跨设备、跨平台的通知这类复杂主流程,团队直接请出了TLA+做模型检查。

这相当于暴力穷举,把用户和系统可能走出的每一条状态分支全跑一遍,看哪条路会钻进死胡同。

他们甚至用数学证明工具Lean,给自研的虚拟列表库做形式化证明,从数学上保证列表高速滚动时不闪烁、不抖动。

第六招:状态图一眼验意图。

界面测试上,团队用上了一个叫Bombadil的属性测试库。

它不写死板的「先点A再点B」用例,而是先立好铁律,再让机器对着界面一通乱点狂测,看哪套组合拳能把规矩干碎,刚上手就逮住了好几个UI漏洞。

Lauren还在自己的插件pstack里搓了一个state chart技能,专门从用户视角把状态机画成直观的跳转图。

比起硬啃几百行代码改动,对着状态图配上一小段录屏和截图,一眼就能看穿AI到底有没有真正听懂你的产品意图。

如何让垃圾代码

炼成金

在Lauren看来,所谓软件工厂,核心就两个字「信任」。这份信任,要靠老老实实砸时间,改造智能体干活的环境。

如果你的编码内循环还在源源不断制造垃圾,急着套上外循环自动化,不过是造了一台全功率运转的垃圾放大器。

Lauren的这场演讲标题透着一点傲娇:「除了我的,所有代码都是垃圾」。

她真正演示的是一套让AI编码「点石成金」的笨功夫。

可哪有什么凭空变出来的黄金?

不过是一条条不讲情面的lint规则、一道道目录死命令、一张张对齐黑话的功能地图,把原本「杂草丛生」的代码库,修剪成了值得AI照抄的模范样本。

Lauren Tan演讲中的5条照做清单

1.同一个错误,别提醒AI第二遍。

让AI改对一次还不够。

顺手让它加一道自动检查,下次再犯同样的错,运行检查时就会报错。

比起反复叮嘱「下次注意」,把要求变成能执行的规则更管用。

2.发现一个坑,顺手查查别处。

发现AI写出了有问题的代码,先加检查,拦住同类错误。再让它检查整个项目,把其他地方的相同问题一起修掉。

3.让AI修问题,别只听它解释。

砍掉没法强制执行的废话注释,让它查清问题出在哪儿、能不能从根上修好。

再把检查失败的原因和正确改法写进报错提示,方便后续修改时直接照着处理。

4.告诉AI功能在哪儿,也告诉它怎么验。

给AI配一张用户视角的「功能地图」,再让它把常用验证步骤做成可重复运行的工具。

改完就跑,并交出截图或录屏供你检查。

5.先跑通一次,再放心交给AI反复做。

别把全部预算都花在生成代码上,多留一些给测试和验证。

先确认AI能把功能做对、把问题查出来,再逐步交给它更多自动执行的工作。

参考资料:

https://www.youtube.com/watch?v=O_zcc6Xl12g

编辑:元宇

加载中...