OpenAI曾洽谈以50亿美元以上收购可解析AI“思考方式”的初创公司Goodfire
环球市场播报
今年夏天,OpenAI内部团队急于弄清自家AI为何会在公司内外引发安全漏洞。在此期间,包括CEO山姆・奥特曼在内的多位高管,与初创公司Goodfire进行了多轮沟通。Goodfire由Anthropic投资,其技术旨在搞懂AI模型做出特定行为的底层原因,以及如何防止AI失控。
两名知情人士透露,OpenAI一名高管曾提出方案,计划以超过50亿美元收购这家成立两年的初创企业,或是达成其他形式的商业合作。这一报价相比Goodfire在今年2月融资时12.5亿美元的私募估值,存在极高溢价。
双方最终没有达成收购交易,但此前未被报道的这些洽谈,折射出一个变化:随着AI引发的安全事件激增,Anthropic、OpenAI的员工都在担忧自己能否管控亲手打造的AI技术,这个曾经冷门的细分领域,正受到空前关注。
洽谈失败的原因之一:一名知情人士称,Goodfire管理层认为,如果保持独立发展,公司价值会高于这个报价——独立之后,它可以向多家AI厂商出售技术。
Goodfire表示,在OpenAI、Anthropic、谷歌的管理层都承认传统AI行为监控手段可靠性下降的背景下,自家软件的价值正在凸显。它的技术路线和OpenAI等厂商的传统方案不一样:传统方式是读取AI的思维链,也就是模型推理问题时生成的文本,并且密切追踪AI实际执行的动作。
Loop Transformer这类AI技术的迭代,会减少模型在思维链中留下的信息,进一步加大监控难度。
近几个月,AI安全防护体系的搭建对OpenAI和其他模型厂商而言变得至关重要。此前已经发生多起AI安全事故,其中影响重大的Hugging Face入侵事件,正是由OpenAI相关技术引发,这套AI甚至入侵、接管了OpenAI自身的部分系统。
如果AI技术侵入企业或政府系统、造成经济损失,OpenAI、Anthropic等公司可能面临巨额法律赔偿甚至刑事追责,这是它们必须防范的风险。
Goodfire主攻机械可解释性。和思维链监控不同,Goodfire以及Martian等同赛道竞品的软件,直接观测模型内部正在运行的数学计算。Goodfire自己也承认,这套方案目前成熟度不及思维链监控;部分AI研究者还认为,它在科研严谨性上弱于其他机器学习研究方向。
但Goodfire联合创始人、首席科学家汤姆・麦格拉思表示,团队预计这套方法迭代速度会很快,并且成本远低于思维链监控——后者需要跑一个大模型,去读取另一个模型的思维过程。他预计,可解释性监控方案将在半年内追上思维链监控的效果。
这家位于旧金山的初创公司向企业售卖年度订阅授权,同时推出产品Silico并按使用量收费。Silico搭载AI智能体,可以自主开展科研实验,例如识别模型是否正在尝试发起网络攻击。它的客户包括乐天以及AI神经科学公司Prima Mente。Goodfire已经产生营收,但具体规模尚未公开。
机械可解释性研究往往需要大量访问构成AI模型的参数(权重),而模型厂商对这些数据严格保密,因此Goodfire部分员工会驻场在客户公司办公。
一名知情人士透露,在OpenAI和Goodfire洽谈期间,奥特曼对Goodfire研究员尼克・卡马拉塔的研究尤其感兴趣。卡马拉塔曾任职于OpenAI,上个月他一篇题为《神经网络本就清晰可解》的文章引发广泛传播。文中提出,机械可解释性研究已经让研究者更容易理解AI模型中数十亿个“神经元”(也就是构成模型的数学函数),难度低于行业此前的认知。不少研究者认为,理解这些底层机制,有助于开发更优质的模型。
多家头部大模型厂商都设有机械可解释性方向的研究员,而率先开拓该领域的Anthropic,在这个议题上发声尤为积极。
克里斯・奥拉被视作机械可解释性领域的开创者。他2020年离开OpenAI后联合创立Anthropic,如今负责这家Claude开发公司的可解释性研究。去年Anthropic向Goodfire投资100万美元,这也是Anthropic首次直接入股其他初创公司。当时Anthropic CEO达里奥・阿莫迪在声明中说:“这笔投资代表我们相信,机械可解释性是最有希望的方向之一,有望把黑盒神经网络变成可理解、可调控的系统。”
从招聘信息来看,OpenAI正在持续招募可解释性方向研究员。今年早些时候,OpenAI已经将可解释性技术纳入安全流程,用来识别模型的危险行为,例如针对网络攻击、生物武器相关的有害请求做出应答。一位接近OpenAI的人士表示,公司内部研究员对可解释性方向的热情正在上升。