（来源：科技行者）
你可能听说过AI现在能写代码、能看图说话、甚至能帮科学家设计实验。但有一件事你大概率没想到：让一个AI智能体独立完成一次真正的生物显微图像分析，从拿到一堆原始显微镜照片，到产出一份能对应上已发表论文结论的结果，这件事到目前为止，还没有人认真测试过。
这听起来有点奇怪。毕竟AI连蛋白质结构都能预测了，分析几张显微镜照片应该不难吧？
但现实是，生物图像分析和写代码、答题完全不是一回事。一张显微镜拍出来的三维细胞体积数据，或者一段记录了800帧细菌分裂过程的延时摄影，体积动辄几个GB，AI没法像读一段文字那样把整张图片"吃"进上下文窗口里直接理解。它必须像人类研究者一样，写代码调用专业软件、渲染可视化图像、一步步摸索出分析路径,这中间要做的判断和操作,比回答一道选择题复杂得多。
来自美国圣母大学、德国莱布尼茨分析科学研究所（ISAS）和爱沙尼亚塔尔图大学的研究团队,联合搭建了一个叫做**BIABench**的评测体系，专门用来回答这个问题：现在的AI智能体，到底能不能独立、端到端地完成一次真实的生物图像分析任务？
答案并不乐观。
真实世界的任务有多难
想象你是一名刚入职的生物图像分析师，导师扔给你一份光盘，里面是某篇已发表论文的原始显微镜数据，然后说：帮我把这篇论文里报告的那个关键结果重新算一遍。
这正是BIABench要求AI做的事。
研究团队从16篇已发表的生物学研究论文里，把原始图像数据、研究者当初提出的科学问题、以及论文里报告的最终结果都提取出来，重新打包成一个个可供AI挑战的任务。AI智能体拿到的是研究者原本面对的那堆杂乱的原始图像和一句用生物学家口吻写的任务描述，比如"把这段800帧的延时摄影里的每一个细胞都分割并追踪出来，细胞分裂时要分配新的编号"。AI需要自己判断用什么方法、调用什么工具、写什么代码，最终拿出一份能和论文原始结论对上的答案。
这16个任务横跨了从单分子定位显微镜到H&E染色病理切片的多种成像方式，涉及细菌到人类共六种物种，图像结构从二维静态照片，到三维体积数据，再到带时间轴的延时摄影，一应俱全。输入数据总量达到13.9GB，其中最大的一个任务单独就有5.1GB。
如果只是让AI做选择题，或者在一个已经准备好的标准数据集上训练一个模型，那其实回避了真实工作里最难的部分。真实的生物图像分析从来不是一步到位的。可能先要去噪、拼接，然后才轮到分割、追踪、统计，最后还要把结果整理成图表交出去。BIABench想测的，正是这整条链路，AI能不能独立走完。
打分不只看结果,还要看过程
每一次AI提交的分析结果，BIABench会给出两个分数。
**outcome score（结果分）**：一句话解释，把AI提交的文件（比如细胞分割的掩膜图、追踪轨迹、统计表格）和论文原本报告的标准答案进行比对，用该领域公认的评价指标打分，比如分割任务用Dice系数，追踪任务用细胞追踪挑战赛（Cell Tracking Challenge）的TRA指标。如果AI压根没交出要求的文件，直接记0分。
**process score（过程分）**：一句话解释，这个分数不看最终答案对不对，而是让一个视觉语言模型（VLM，Vision-Language Model，能同时理解图像和文字的AI模型）扮演审稿人，检查AI整个分析过程是否规范，比如有没有用原始数据做测量而不是用调过对比度的可视化图、有没有检查过饱和像素、图表有没有比例尺和图例。
这两个分数分开打的原因其实很值得琢磨。一次分析可能跑得特别顺畅，代码写得清清楚楚，每一步都配了注释和可视化，看起来非常专业，但最后算出来的数字是错的。反过来，也可能有些分析过程潦草，但歪打正着蒙对了答案。如果只看结果分，你没法知道AI是不是真的理解了分析逻辑；如果只看过程分，你又没法确认它是不是真的得出了正确结论。
这就好比考试判卷,一份答卷字迹工整、解题步骤写得头头是道，但最后答案算错了，老师该打几分？分开给过程分和结果分，恰恰是为了避免被"写得漂亮"这件事骗过去。
16个任务,难度分了三档
研究团队给每个任务标注了难度：简单、中等、困难。
简单任务基本是单一分析环节，或者标准的二维图像处理流程，比如数一数免疫荧光图像里有多少个细胞、把H&E染色切片里的细胞核一个个分割出来。中等任务仍然停留在二维，但需要用上更专业的方法，比如单分子定位显微成像的亚像素定位，或者从显微图像里把细长卷曲的微管结构提取出来。困难任务则往往要把好几个分析环节串起来,比如一个三维斑马鱼细胞分割任务需要先分割再提取特征，又或者单一环节本身就极具挑战性,比如要在800帧延时摄影里追踪快速分裂的细菌群落。
结果呢？
简单的二维任务，几乎所有AI都做得不错。在NF-κB核转位定量、HeLa细胞核质分割和细胞计数这三个简单任务上，表现最好的智能体能拿到0.85到0.96分，就连表现最差的智能体也能拿到至少0.56分。
但一旦任务涉及三维结构或者时间轴，情况就急转直下。在核孔组装动力学定量这个任务上，没有一个AI智能体能超过0.19分。在三维斑点定量任务上，最好成绩只有0.05分。
0.19分是什么概念？满分是1分，相当于考试只拿了不到两成分数，几乎等同于交白卷。
更有意思的是，研究者原本期待的几个"救场方案"全部失效了。
给AI换成专门为生物任务设计的智能体，没用。普通的通用编程型智能体（比如Claude Code、Codex这类本来是给程序员写代码用的工具）在14个任务里拿到了并列最高分或最高分，有的甚至在细菌追踪任务上领先生物专用智能体多达0.32分。研究团队推测，这可能是因为不少生物专用工具原本设计给人类在旁边监督使用，一旦完全自主运行，反而发挥不出优势。
换更强的语言模型，效果有限。用更贵、推理能力更强的Opus 5模型替换便宜的V4-Flash模型，在DeepSeek Harness这个平台上把平均分从0.52提到了0.65，看起来不错，但换到Claude Code平台上，几乎没有任何提升。这说明智能体框架（harness，承载AI运行的软件外壳）和背后的语言模型之间，存在某种匹配度问题,不是随便换个更强的模型就能通吃所有场景。
加详细说明书，也没用。研究团队专门请了生物图像分析专家，按照原始论文的方法学，写了一份更详细的操作指南，里面给出了推荐的预处理步骤、检测器选择建议、参数提示。结果呢？平均分几乎纹丝不动,在V4-Flash上只提升了0.01分，在GPT-5.6 Sol上提升不到0.01分。但如果拆开来看单个任务，变化其实很剧烈：细菌追踪任务从0.32分暴涨到0.94分，而细胞计数任务反而从0.83分跌到0.42分。
这就像给一个新手厨师一份超详细的菜谱,精确到每样食材放多少克、火候开多大，结果这个厨师在某道菜上突飞猛进，做出了米其林水准，但在另一道菜上反而手忙脚乱，把原本会做的菜搞砸了。如果详细说明书对每道菜都只是均匀地加分，那研究团队大概会得出"说明书有用"的结论,但实际情况是它在不同任务上效果完全相反，相互抵消后平均分看起来毫无变化。这说明问题根本不在于AI缺信息，而在于它没法可靠地把信息用对地方。
同一个AI,跑三次结果能差出一大截
这可能是整篇论文里最让人不安的发现。
研究团队对每一个AI智能体和每一个任务的组合都重复跑了三次。按理说，同一个AI用同样的模型跑同一个任务，结果应该大差不差,毕竟任务、数据、模型都没变。
但实际情况是，40%的智能体-任务组合里，三次运行的结果分差异超过了0.2分。更极端的是，如果你只看每个智能体三次运行里表现最差的那一次，六个智能体之间的差距能拉开0.18分,但如果只看表现最好的那一次，五个智能体之间的差距缩小到只有0.04分。
这说明什么？
AI智能体之间的差距，很大程度上不是能力上限的差距，而是可靠性的差距。
研究团队进一步拆解了结果分波动的来源：任务本身的差异贡献了63%的方差，任务和智能体的交互效应贡献了13%，而同一组合内部不同运行之间的随机波动贡献了21%,这个数字是"选用哪个智能体"这个因素贡献的六倍以上（智能体本身的选择只贡献了3%的方差）。
这就好比你去考驾照，同一个人连续考三次，有一次压线挂科，有一次完美通过，还有一次在倒车入库环节莫名其妙地熄了火。如果光看结果，你可能会以为这三次是三个不同水平的司机在开车，但其实只是同一个人在"状态"上的随机波动,这种波动本身，就说明这项技能还没有被真正稳定地掌握。
这个结论也戳破了一个常见的误解：很多人以为AI做分析任务不稳定，是因为问题本身太难、太模糊。但BIABench里哪怕是最简单的任务，运行到运行之间的波动也依然存在，这说明不稳定性本身就是当前这些智能体的固有特质，而不只是任务难度带来的副作用。
过程写得漂亮,不代表结果就对
这是整篇论文里另一个让人感到意外的发现。
你可能会想，既然没有标准答案可以对照，那至少可以通过看AI的分析过程是否规范，来大致判断这次分析靠不靠谱吧？
数据告诉我们，这招基本不管用。
在所有打分的运行记录里，过程分和结果分之间的相关系数只有0.29，如果把那些结果分接近0的失败运行排除掉，相关系数更是跌到只有0.09,接近于没有任何关系。换句话说，一次分析过程被判定为"规范专业"，几乎无法预测它最后算出来的数字到底对不对。
研究团队还找了一位真正的细胞生物学专家，对20次运行逐项人工审查，结果发现专家打出的过程分和结果分之间的相关系数是负0.03,甚至比AI裁判打出来的还要更接近"毫无关联"。更惊人的是，那五次结果分低于0.1（约等于完全失败）的运行，专家给出的过程分却高达0.74到0.82。
这意味着，一次看起来步骤完整、代码规范、图表齐全的分析，完全可能在最核心的那个数字上彻头彻尾地算错了。
论文里给出了三个具体案例，很能说明问题。
第一个案例里，一个叫CopilotJ的智能体处理三维肿瘤蛋白斑点定量任务，自己写的脚本里打印出"已处理1609个细胞核"，但它实际交付的文件里只有266个细胞核的数据,相差六倍多。更糟的是，不同实验条件下斑点数量的排序完全反了，这意味着如果直接拿这个结果去写论文结论，科学结论会是反的。
第二个案例里，Codex智能体用了一套标准的分析流程：先用Cellpose模型分割细胞核，再检测局部荧光峰值作为斑点。这套流程本身没有明显错误，三种实验条件下斑点数量的排序也完全正确（排序指标拿到满分1.0），但斑点数量的绝对数值却整体低估了三十倍左右,原因是检测器设定的阈值过于严格，只认出了孤立的小液滴，把真正占主导地位的密集斑点团块全部漏掉了，而这个阈值从始至终没有经过任何针对真实图像的校验。
第三个案例最微妙。一个智能体在186秒内写出了一套完整的211行分析代码，涵盖了板图解析、细胞核分割、剂量反应拟合、统计检验、质量控制可视化,几乎教科书级别的流程。但它结束这一轮对话时说的是："分析仍在96个孔位上运行，我会继续自动完成并生成所需的CSV文件、质量控制图像……"。问题是，智能体的对话一旦结束，它就再也不会"继续"了，这是一句承诺，但永远不会兑现。最终，任务要求的那份汇总表格从未被写出来，整个运行被判定为彻底失败,哪怕它的代码质量在人类审查者眼里完全合格。
这三个案例合起来告诉我们一件很重要的事：目前这套AI系统的失败模式，往往不是"明显出错"，而是"看起来没问题但悄悄错了"。这对想要依赖这类AI工具的研究者来说，是一个相当危险的信号,因为最需要警惕的错误，恰恰是最不容易被发现的那种。
花的时间长,不代表结果更靠谱
还有一个常见直觉也被推翻了：很多人会觉得，AI分析花的时间越长，是不是说明它想得更仔细、结果会更可靠？
研究团队统计发现，按三次运行的耗时分成最短、中间、最长三组后，同一个任务内，耗时和结果分之间的等级相关系数中位数只有0.01，几乎为零。更有意思的是，那些结果分低于0.1的失败运行，耗时中位数反而是成功运行的两倍（21分钟对10分钟）。在70组因三次运行结果差异明显而可供比较的智能体-任务组合中，只有20组是耗时最长的那次运行拿到了最好分数，这个比例甚至低于随机瞎猜（三分之一）应该达到的水平。
这说明在现在这套系统里，AI"花更多时间"往往不是因为它在认真琢磨问题，而更可能是因为它陷入了某种低效的重试循环或者走了弯路。时间长短，不能作为判断结果质量的信号。
一个值得信赖的裁判,也不是那么好当的
既然AI本身给出的过程分靠不住，那负责打这个过程分的"裁判"AI（也就是那个VLM视觉语言模型）本身准不准呢？
研究团队专门做了一轮验证：挑出20次运行，涵盖全部六个智能体和全部16个任务，一共1273条评分细则，由一位人类专家在完全看不到AI裁判判断的情况下重新逐条打分。专家自己能判断其中1085条，剩下188条因为证据不足而选择跳过。
在专家和AI裁判都能给出判断的922条细则里，被最终采用的裁判模型（Claude Sonnet 5）和专家的意见一致率是87%，用统计学上更严格的Cohen's κ系数衡量是0.67，属于"中等偏上"的一致程度。但偏差的方向很有意思：裁判把专家判定为"失败"的项目错判成"通过"的比例达到27%，而把专家判定为"通过"的项目错判成"失败"的只有7%。换句话说，这个AI裁判存在明显的"心软"倾向，宁可给过，也不轻易打叉。
细看不同评分维度，裁判在判断"AI是否理解了输入数据"这类比较客观的问题上做得不错（一致性系数0.87），但在判断"工具选择是否合理"这种需要更深层专业判断的问题上就吃力得多（一致性系数只有0.47）。
这给我们提了个醒：就算是用AI来评价AI,这套评价本身也不是绝对可信的，尤其在需要专业判断力的地方，裁判模型同样会露怯。
写在后面
读完这篇论文，最让我意外的不是AI在复杂三维任务上表现差,这多少在意料之中。真正让我停下来重新思考的，是那个"耗时越长不代表越可靠"的发现，以及三个失败案例里展现出的共同特征：这些失败几乎都不是"明显崩溃"式的失败，而是披着专业外衣的失败。
这让我想起一个更普遍的问题：我们现在评价AI能力，习惯性地用"看起来是不是像专家做的"来打分,代码规范不规范，图表好不好看，报告写得条理清不清晰。但这篇论文用非常扎实的数据证明了，"像专家"和"是专家"之间，可能根本没有必然联系。一个AI完全可以把表演做得天衣无缝，同时在最核心的数字上一败涂地。
另一个让我反复琢磨的细节是，给AI更详细的专家指南，效果在不同任务上完全相反,一个任务暴涨60个百分点，另一个任务暴跌40个百分点，平均下来几乎抵消成零。这意味着问题的根源不是"AI不知道该怎么做"，而是AI没有办法稳定地把知道的事情做对。这种不稳定性比单纯的"能力不足"更难解决，因为它意味着你没法通过简单地喂给AI更多信息来修复它。
论文最后留下的问题很直白：研究团队说，他们设想社区能在"几年内"实现专家水平的自主生物图像分析。读到这句话时我忍不住想，这个"几年"到底建立在什么样的技术突破之上？如果连"花了更长时间分析"都不能证明"分析得更认真"，那这个系统距离真正可信，可能比表面上看起来要远得多。
Q&A
Q1：BIABench是什么？
A：BIABench是由美国圣母大学、德国ISAS研究所和爱沙尼亚塔尔图大学联合开发的一个评测基准，专门用来测试AI智能体能否独立完成真实世界的生物图像分析任务，包含16个从已发表论文重建的任务，涵盖二维、三维和延时摄影等多种数据类型。
Q2：现在的AI智能体能独立做好生物图像分析吗？
A：简单的二维任务做得不错，最好的智能体能拿到0.85到0.96分。但一旦涉及三维结构或时间轴的复杂任务，所有测试的AI智能体都表现很差，有的任务上没有一个智能体能超过0.19分，换更强的模型或更详细的说明书都无法根本改善这个问题。
Q3：为什么不能只看AI分析过程写得好不好来判断结果靠谱吗？
A：因为测试发现过程分和结果分之间几乎没有关联，相关系数接近于零。有的运行代码规范、报告专业，但最终交付的数据完全错误，比如细胞数量相差六倍、不同条件下的排序结论完全颠倒，这说明"看起来专业"和"结果正确"是两码事。
