Chunlin 的论文科普

LLM 智能体什么时候能自己做科学实验？从

LLM 与智能体

你问 LLM「怎么提高制药结晶产率」，它会说「试试调整冷却速率」——正确但没用。它说的是教科书里的常识，不是针对你这条产线、这个分子、当前工艺参数的具体结论。如果 AI 能像工程师一样，先提出假设、再做对照实验、最后甩给你一组带数字的参数呢？

这正是最近一批 LLM 智能体（LLM agent，指能自主规划、调用工具、根据反馈调整行为的 LLM 系统）研究的方向：让 AI 不再只靠”背下来的知识”回答问题，而是像科学家一样通过”做实验”来推理。

为什么纯 LLM 给不出可落地的科研建议？

先看一个具体的对比。面对”如何优化某制药结晶工艺的产率和晶体质量”这个问题，纯 LLM 的回答大概是：“可以尝试将冷却速率调整到 3–10 °C/h 左右，可能会有所帮助” [1]。

这话没错，但等于没说——工程师拿到手还是得自己试。为什么会这样？因为纯 LLM 的推理本质是”凭记忆和语言模式生成听起来合理的文本”，它不需要真的知道冷却速率从 5 调到 7 会发生什么，只要知道”冷却速率影响结晶”这个关联就行。

而一个真正的工艺工程师会怎么做？他会先固定其他所有参数（温度、浓度、搅拌速度……），只把冷却速率从 5.25 °C/h 调到 7.00 °C/h，跑两批实验对比产率、晶体粒径和分布，然后告诉你：“调这个参数有用，具体调到多少，预期效果是什么”。这中间的核心差别，就是控制变量实验（controlled experiment，指每次只改变一个变量、其余保持不变，以确定该变量对结果的真实影响的实验方法）——科学推理的基石。

纯 LLM 缺的不是知识，而是”通过干预和观察来验证假设”的能力。它说的每一句话，都是对已有知识的复述，而不是对某个具体系统在特定干预下行为的推断 [1]。

让 AI 像科学家一样做实验：6 个智能体的流水线分工

那怎么让 LLM 学会做实验？核心思路很直白：给它一个能”做实验”的环境，再把科学探究的流程拆成不同角色，让多个智能体分工协作。

论文《LLM Agents Perform Controlled Experiments Using Simulation Models》提出的框架，就是把整个实验流程拆成了 6 个角色，像一条流水线一样运转 [1]：

  1. 需求分析器：先把用户模糊的问题（“优化结晶产率”）拆成结构化的任务——目标是什么、可调参数有哪些、基线参数是多少。
  2. 规划器：基于可用的仿真功能，生成一个抽象的实验计划，比如”先测试冷却速率的影响，再测试搅拌速率”，但不涉及具体数值。
  3. 交互操作员：把抽象计划具体化，生成带参数的 Python 仿真调用代码——比如”冷却速率设为 7.00 °C/h，其余参数保持基线”。
  4. 执行器：整个系统里唯一不是 LLM 的规则组件，负责在受控环境里跑仿真，返回结果（文本+图表），出错了就把报错信息传回去让前面重试。
  5. 解释器：用视觉 LLM 解读仿真生成的图表，把曲线和柱状图翻译成文字洞见。
  6. 报告员：把所有实验结果汇总，生成最终的优化建议。

你可能已经看出来了，这完全复刻了科学家做研究的逻辑：假设 → 干预 → 观察 → 分析 → 报告。仿真模型在这里不是一个被查询的”知识库”，而是一个被操纵的”实验对象”——每次只改一个参数，对比基线看差异，这就是标准的控制变量法 [1]。

当然，实际情况比这个比喻更复杂：系统还要处理仿真报错、参数越界、多轮迭代等问题，所以才需要多个智能体分工，而不是让一个 LLM 从头干到尾。

怎么证明 AI 真的在「做实验」而不是「编答案」？

一个很自然的疑问是：你怎么知道它真的跑了仿真、做了对比，而不是照样在编答案，只是编得更像那么回事？

研究者用了几种方法来验证。最直观的一个指标叫语言模糊度（linguistic fuzziness，指文本中模糊表达的比例，比如”可能""大约""试试""左右”这类词）——如果 AI 真做了实验，它说话应该更肯定、更具体。

结果差异非常明显 [1]：

另一个更精细的指标叫 LUCI 不确定性得分（LUCI score，一种量化语言表达中不确定性程度的评分，分数越高表示越不确定）：纯 LLM 的得分是 0.36 ± 0.11，完整系统只有 0.13 ± 0.10，不确定性降低了约 64% [1]。

更硬核的验证来自领域专家评分。两位制药工艺专家给输出打分，满分 5 分：完整系统的正确性得 4.1 分、有用性得 4.2 分；而没有仿真的版本和纯 LLM 版本得分都低于 3.0，被认为基本不可用 [1]。

系统自身的实验闭环能力也有数据支撑：仿真调用的精度达到 94%（也就是 100 次调用里有 94 次是有意义的实验），76% 的假设被仿真结果证实 [1]。

有意思的是，研究者还做了一个消融实验：把”需求分析器”这个角色去掉，直接让规划器开工。结果仿真调用的数量反而变多了（召回率从 64% 升到 69%），但有用的比例大幅下降（精度从 94% 掉到 65%）[1]。这就像一个没搞清楚问题就瞎做实验的研究生，忙得团团转，但大部分实验都是白做的。

光有仿真还不够：智能体做实验还需要哪些基础能力？

控制变量 + 仿真，只是解决了”单次实验怎么做”的问题。真要让智能体在科研场景里长期干活，还缺好几块拼图。

第一块是记忆（memory，指智能体保存和复用过往经验与知识的能力）。做科研不是一锤子买卖，今天做的实验结果明天要能用上，上个月发现的规律这个月不能忘。现在很多智能体的外部记忆是”只进不出”的，越存越多，检索起来又慢又不准。

论文《Dual-Layer Agentic Memory with Fast Write Routing and Slow Consolidation》提出了一个双层记忆框架，思路很像人脑：一层是快速写入的外部记忆（类似海马体），先把新东西临时存下来；另一层是慢速固化的参数记忆（类似大脑皮层），定期把高价值知识通过微调”内化”进模型里 [2]。

这个设计的巧妙之处在于，它把记忆管理的重点从”读的时候怎么找”移到了”写的时候要不要存”——用一个小模型（1.7B）做前置筛选，只有模型本来不会的新知识才存，模型已经会的直接跳过。实验显示，这样能剪掉最多 68% 的冗余记忆，同时保留穷尽存储基线 98% 以上的问答精确匹配率，路由的计算成本还降低了 30%–39% [2]。

当然，实际情况比这个比喻更复杂：参数固化的时候也会”挤掉”一些旧知识，所以外部记忆不能完全丢，还得留着用来纠正遗忘 [2]。

第二块是长周期任务分解。真正的科研项目动辄几周几个月，涉及几十上百个实验，一个智能体干不过来。Prime Agent 框架提出了**递归子代理（recursive subagent，指智能体可以创建子智能体来完成子任务，子智能体又可以创建自己的子代理，形成层级结构）**的思路：父代理把大任务拆成小块，每个小块派一个子代理去干，结果异步回收 [3]。

在《异星工厂》（Factorio）游戏的测试里，AI 七天里创建了 633 个一级子代理，最多 7 个并发工作，解锁了 24 项技术，还从一次世界重置的灾难中恢复了过来 [3]。这种”分身”能力，对长周期的科研实验规划至关重要。

第三块是多智能体协作的故障诊断。智能体多了不代表就更聪明，有时候反而会”吵成一团”却不解决问题。论文《From Diagnosis to Redesign》发现，在一个五智能体辩论评分系统里，判分错误的辩论往往有个特点：智能体们忙着互相提议、挑战、反驳，看起来讨论很激烈，但很少把论点和评分标准挂钩 [5]。

研究者用认知网络分析（ENA）把这种”话语失效模式”找出来，然后针对性修改提示词——比如要求每个论点都必须引用评分标准，禁止随便提新分数。就这么一改，精确准确率从 27.8% 提升到了 40.3% [5]。这告诉我们：多智能体系统不是堆角色就完了，还得有办法诊断它们”聊没聊到点子上”。

从「会做实验」到「自主科研」：四级能力阶梯

聊到这里，你可能想问：现在这些 AI 实验系统，到底算什么水平？离真正的”自主科研”还有多远？

论文《Molecular LLM Agents: From Architectural Design to Scientific Autonomy》提出了一个很有用的框架——科学自主性阶梯（scientific autonomy ladder，按无需强制人工干预就能闭合的最外层反馈环，将科研智能体分为四个等级），类似自动驾驶的分级 [4]：

用这个框架回头看前面提到的结晶工艺优化系统，它大概在 L2 到 L3 之间：它能自己设计仿真实验、根据结果调整假设（L2 的能力），但用的是仿真而不是真实物理实验，而且目标还是人给的，离自己定课题还远 [1][4]。

目前整个领域的进展如何？这篇综述调研了 58 篇分子科学领域的 LLM 智能体相关论文，结果是：L1 有 4 篇，L2 有 12 篇，L3 有 16 篇，L4 一篇都没有——完全是空白 [4]。

我们离 AI 独立做科研还有多远？

如果把时间线拉长一点看，AI 做科研的梦想其实已经走了好几步。早几年的研究主要集中在单点任务自动化，比如文献综述、数据分析。到 2025 年，已经有研究尝试用 10 个专用 LLM 智能体串成流水线，从假设生成到论文产出全包了，在多智能体系统这个领域里做出了比基线好 5% 的结果 [7]。

2026 年初的 PRISM 系统更进一步，把实验协议生成、数字孪生验证、机器人执行串了起来——AI 写好实验步骤，先在数字孪生（digital twin，指物理系统的虚拟映射，可用于模拟和验证）里跑一遍检查有没有物理错误，没问题就直接指挥实验室机器人做真实实验 [8]。

回到我们开头的核心论文，它的特殊价值在于：第一次把”控制变量实验”这个科学方法本身，变成了 LLM 智能体的内置推理流程，而不是简单地把仿真当工具调用 [1]。

但冷静地看，前面的路还很长。核心论文自己也承认了几个关键局限 [1]：

第一，仿真保真度决定了天花板。如果仿真模型本身不准，AI 做再多实验也只是在错误的世界里瞎转悠。低精度仿真甚至可能引入扭曲的上下文，反而误导推理 [1]。

第二，领域通用性是个大问题。这套系统是为制药结晶工艺量身定做的，用的是阿斯利康内部的专有仿真模型。能不能推广到其他科学领域？比如材料科学、流体力学、生态学？现在还不知道 [1]。

第三，高维参数空间里的假设生成还是难点。结晶工艺可能就十几个可调参数，AI 一个个试过来还行。如果是几十上百个参数的复杂系统，怎么高效地提出有价值的假设，而不是像无头苍蝇一样乱撞？这是个开放问题 [1]。

除此之外，还有更根本的挑战：现在的系统都是”人给目标，AI 做实验”，离 AI 自己发现值得研究的问题（L4）还差得远 [4]。而要走到那一步，需要的不只是更好的实验设计能力，还要有对科学问题的判断力、对领域知识的深度整合、以及跨学科的联想能力——这些目前都还只是人类科学家的专利。

如果你只记住一件事

LLM 智能体要从”会说科学话”变成”会做科学事”，关键是把控制变量实验这个科学方法的核心逻辑，用「多智能体分工 + 仿真环境反馈」的方式内嵌进推理流程里。

参考文献

  1. LLM Agents Perform Controlled Experiments Using Simulation Models（arXiv、2026、全文精读）
  2. Dual-Layer Agentic Memory with Fast Write Routing and Slow Consolidation（arXiv、2026、全文精读）
  3. Prime Agent: A Self-Improving RLM Harness（arXiv、2026、全文精读）
  4. Molecular LLM Agents: From Architectural Design to Scientific Autonomy（arXiv、2026、全文精读）
  5. From Diagnosis to Redesign: Using Quantitative Ethnography to Improve Multi-Agent LLM Reasoning（arXiv、2026、全文精读）
  6. From LLM Reasoning to Autonomous AI Agents: A Comprehensive Review（ArXiv.org、2025、仅摘要）
  7. Avtomatizacija raziskovalnega procesa z agentnimi velikimi jezikovnimi modeli（Repository of the University of Ljubljana (University of Ljubljana)、2025、仅摘要）
  8. PRISM: Protocol Refinement through Intelligent Simulation Modeling（ArXiv.org、2026、仅摘要）