Chunlin 的论文科普

AI翻译时，心里先想的是哪国语言？最新研究发现它先排语序再选词

LLM 与智能体

你有没有好奇过：当AI把“绿色的车”翻译成法语“voiture verte”（车 绿的）时，它是先想到法语词再调换顺序，还是先把顺序调对了再换成法语词？最新的机制研究给出了反直觉的答案。

一个反直觉的发现：翻译时先排顺序，再换语言

我们普通人学外语翻译，往往是“逐词替换+调顺序”的思路：先把每个词换成对应的外语词，再按外语的语法把词序摆正。但多语言大模型的翻译过程，很可能正好反过来——它先把目标语言的词序骨架搭好，再往里面填具体的外语单词。

最近一篇题为《Separating Syntax from Language: A Mechanistic Account of Translation in Multilingual LLMs》的论文，通过因果干预实验证实了这个反直觉的结论：多语言大模型翻译时，会先确定目标语的词序（也就是句法结构），再确定用哪一种语言的表层形式，最后才填充具体的词汇概念 [1]。

打个比方，这就像你要盖一栋房子，不是先买好法语的砖、再按法语的图纸砌，而是先画好法语风格的户型图（句法），再决定用法国进口的砖还是荷兰进口的砖（表层语言），最后才决定砖是红色还是绿色、是砌成墙还是窗户（词汇概念）。当然，实际情况比这个比喻更复杂——模型的“图纸”和“砖”都是隐状态里的向量，不是真的有形物体。

这个发现最有意思的地方，是它打破了我们对“翻译=换词”的朴素认知。句法结构居然是一个独立的、先于语言本身确定的阶段，说明模型内部对“怎么说话”和“说哪国话”做了明确的分工。

怎么证明“先句法后语言”？因果干预实验的思路

要搞清楚模型内部“哪一步先发生”，不能只看输入输出，得想办法进到模型的中间层去看。这篇论文用了一套非常巧妙的因果干预方法，核心思路是：把翻译拆成三个可以独立操纵的维度，然后看它们在模型各层分别是什么时候“定下来”的 [1]。

这三个维度分别是：

研究人员用了两种关键技术来追踪这三个维度的出现顺序 [1]。第一种叫 LogitLens（对数透镜），简单说就是把模型每一层的中间隐状态直接投影到词表上，看看这一层“心里想的”是什么词。比如你让模型把“绿色的车”翻译成法语，中间某一层预测出来的可能还是英语单词，但顺序已经变成法语的“名词在前、形容词在后”了——这就说明词序比语言本身先确定。

第二种技术叫激活修补（activation patching）。你可以把它理解成“换零件实验”：准备两个只有一个维度不同的提示（比如一个译法语、一个译荷兰语，其他都一样），然后把模型某一层的激活值从“基础提示”的换成“补丁提示”的，看输出的哪个维度被改变了。如果换了第14层的激活，输出的词序变了但语言没变，那就说明第14层管的是句法；如果换了第17层的激活，输出语言变了但词序没变，那第17层管的就是语言。

为了确保实验干净，研究人员还人工构造了最小对立体数据集——每一对样本只有词序这一个变量不同，其他都一样，这样就能排除词汇、语义等干扰因素 [1]。

三层流水线：句法头、语言层、概念层各司其职

通过上面的方法，研究人员在多个模型上反复验证，最终画出了一条清晰的翻译流水线：句法（S）→ 表层语言（L）→ 词汇概念（C）。9个模型-数据集组合里有8个都符合这个顺序 [1]。

以英语主导的 Llama 3 8B 模型在名词短语翻译任务上的表现为例：第14层完成词序切换，第17层完成语言切换，第19层才完成词汇概念的切换 [1]。三道工序前后分明，甚至可以单独拆开、单独修改——你只改第14层的激活，就能让输出从“形容词在前”变成“名词在前”，但用的还是同一种语言、说的还是同一个东西。

更有意思的是，研究人员还定位到了专门负责句法转换的注意力头（attention head）——也就是模型里专门管“词怎么排序”的小模块。比如 Llama 3 里有个叫 H14.25 的注意力头，对句法转换特别敏感，但对具体是哪国语言几乎不关心 [1]。你把它换成德语的激活，输出就变成德语的词序，但词本身还可能是法语的——就像一个翻译只负责改说话的顺序，不负责换词。

这些句法头还是跨语言通用的：用不同词序语言的平均激活去修补这个头，输出词性分布的差异会显著变大；而同词序语言的修补几乎没什么影响。这说明这些头编码的是“词序规则”本身，而不是某一种特定语言的词序 [1]。

论文还发现了一个有趣的“英语中间态”现象：在英语主导训练的模型（如 Llama 3、Aya Expanse）里，中间层预测的词其实是英语单词，但词序已经符合目标语了。比如把“绿色的车”译成法语时，中间层先想到的是英语的“car green”（按法语词序排的英语词），后面才换成法语的“voiture verte”。而平衡语料训练的 mGPT 就没有这个现象 [1]。这也侧面印证了“先排顺序、再换语言”的流水线——顺序定好了，哪怕暂时还用着源语言的词，骨架已经是目标语的了。

从“概念独立”到“句法独立”：翻译机制研究的三步路

这次的“句法独立”发现，其实是多语言大模型翻译机制研究这条线上的最新一步。过去几年，研究者们一步步把翻译这个“黑箱”拆得越来越细。

第一步，是发现概念表示独立于语言。2025年的《Separating Tongue from Thought: Activation Patching Reveals Language-Agnostic Concept Representations in Transformers》一文通过激活补丁技术证明，Transformer内部存在与具体语言无关的通用概念表示——你可以在不改变语言的情况下换概念，也可以在不改变概念的情况下换语言 [6]。这就好比模型心里有个“意思”，这个意思本身不依附于任何语言，最后才套上某国语言的外壳。

第二步，是发现语法概念跨语言共享。同样是2025年的《Large Language Models Share Representations of Latent Grammatical Concepts Across Typologically Diverse Languages》一文进一步发现，像“数、性、时态”这些形态句法概念，在模型里也是用跨语言共享的特征方向编码的。哪怕是主要用英语训练的模型，也能发展出跨语言的抽象语法表示 [7]。这说明不仅“意思”是通用的，连一部分“语法规则”也是通用的。

第三步，也就是这次的新研究，把“输出语言生成”这一步又拆成了两半：先有句法结构，再有表层语言形式 [1]。此前大家知道翻译是“先有概念，再有语言输出”，但不知道语言输出内部还能再拆。现在的完整图景变成了：概念 → 目标语句法 → 目标语表层形式 → 具体词汇。模块化的程度比之前认为的还要高。

再往前追溯，2025年的《Exploring the Translation Mechanism of Large Language Models》已经发现翻译是由稀疏的特定组件驱动的：专门的注意力头提取源语言、翻译指示和位置特征，再由特定的MLP处理成以英语为中心的中间表示，最后生成译文 [8]。这次的研究相当于把“生成译文”这最后一步的内部顺序也给理清楚了。

还没回答的问题：复杂语法、低资源语言和更深层的交互

当然，这项研究也有它的边界。我们不能拿着“先句法后语言”这一句话就往所有翻译场景上套。

首先，研究目前只验证了3种句法现象：名词短语词序、主谓宾/主宾谓语序、情态动词位置 [1]。这些都是相对简单的词序差异。至于更复杂的句法现象——比如格标记、长距离依赖、从句嵌套——是不是也遵循同样的规律，还不知道。

其次，实验的源语言都是英语，而且主要测试的是印欧语系的语言 [1]。低资源语言、非印欧语系（比如汉藏语系、乌拉尔语系）的翻译是不是也有同样的三层流水线？目前还没有答案。作者自己也承认，这些发现能否推广到低资源语言或非印欧语对，仍是开放问题 [1]。

第三，研究用的是人工合成的数据集和one-shot提示，不是真实的自然文本翻译 [1]。真实翻译里句子更长、上下文更复杂，句法和表层语言的交互可能没这么干净。

最后，也是更深层的问题：这些句法过程和表层过程在模型更深的层里是怎么交互的？目前我们只知道它们出现的先后顺序，但它们之间是简单的“流水线”关系，还是有来回的反馈和调整？这一点还不清楚 [1]。

另外，不同模型的表现也有差异：平衡训练的 mGPT 句法效应更弱，和语言纠缠得更紧；而英语主导的 Llama 3 和 Aya Expanse 句法独立性更明显 [1]。这说明模型的训练数据分布会影响内部机制的模块化程度，不是所有模型都长得一样。

如果你只记住一件事

多语言大模型的翻译不是“逐词替换再调顺序”，而是一条三层流水线：先搭目标语的句法骨架（词序），再套上目标语的语言外壳，最后填充具体的词汇内容 [1]。

参考文献

  1. Separating Syntax from Language: A Mechanistic Account of Translation in Multilingual LLMs（arXiv (Cornell University)、2026、全文精读）
  2. DS-Lighting: Making Agent Harnesses Explicit for Data-Science Automation（arXiv、2026、全文精读）
  3. ORDDAR: Observation-Driven Reasoning for Distortion-Resilient Decision, Action, and Cognitive Recovery（arXiv、2026、全文精读）
  4. When LLM Meets Tree Search: A Systematic View of Inference as Search in Large Language Models（arXiv、2026、全文精读）
  5. A Parent-Child Multi-Agent Architecture for Real-Time Financial Fraud Detection Using Tool-Augmented Language Model Agents（SSRN、2026、仅摘要）
  6. Separating Tongue from Thought: Activation Patching Reveals Language-Agnostic Concept Representations in Transformers（2025、仅摘要）
  7. Large Language Models Share Representations of Latent Grammatical Concepts Across Typologically Diverse Languages（arXiv (Cornell University)、2025、仅摘要）
  8. Exploring the Translation Mechanism of Large Language Models（ArXiv.org、2025、仅摘要）