Chunlin 的论文科普

为什么两个立场一致的AI聊天,会悄悄改变主意?

你做过那种”你觉得AI有偏见吗”的问卷式测试吗?AI答得一本正经,看起来中立得很。但最近有个反直觉的实验:把两个立场完全一致的AI放在一起聊天,聊着聊着它们居然一起跑偏了——而且单独问的时候还看不出来。

一个反直觉的实验:两个保守派AI聊天,最后一起变自由派

想象一下:你给两个AI都设定了”强烈反对气候变化是人为导致”的保守立场,把它们放进一个只有彼此的群里聊天。按常理说,两个观点一模一样的人(或者AI)在一起,应该互相强化、立场更稳才对——这就是我们常说的”回音室”效应。

可实验结果完全不是这样。

聊着聊着,这两个保守派AI居然开始松动,最后一起转向了”人类活动确实是气候变化主因”的自由派立场。就像两个坚决反对控枪的人在只有彼此的房间里待了一会儿,出来双双变成了控枪支持者 [1]。

这不是某一个模型的特例。研究人员测试了9个主流大语言模型,覆盖堕胎、气候变化、性别认同、控枪等8个美国政治极化话题,发现所有模型都表现出这种系统性的偏移,而且主要方向都是保守派向自由派偏移——比如Llama3.1和Qwen2.5在大麻合法化话题上偏移最大,GPT-4o则在医疗话题上偏移最突出 [1]。

更有意思的是,这种偏移是”偷偷摸摸”的:如果你单独把每个AI拉出来做问卷,它们还能坚持最初设定的立场,看起来一点问题都没有。只有在对话的过程中,这种隐藏的倾向才会慢慢显露出来 [1]。

当然,实际情况比这个比喻更复杂——偏移的程度和话题、模型都有关系,自由派向保守派的偏移虽然少但也存在,而且并不是所有话题都会发生同样程度的偏移 [1]。

为什么传统偏见检测抓不住它?——回音室框架的逻辑

你可能会问:现在不是有很多AI偏见检测的方法吗,怎么会测不出来?

问题出在检测方式上。目前主流的偏见检测,本质上就是”出选择题”:给AI一个问题,让它从几个选项里选,或者用李克特量表打分。这种方法叫”直接探测”或”问卷式检测”,简单直接,也容易量化 [1]。

但这次的研究发现,这种静态检测有一个致命盲区:它测的是AI”被问到时怎么回答”,而不是AI”在真实交互中会怎么表现”。就像考试作弊的学生,背下了标准答案,但真遇到实际问题时还是会露馅。

为了抓住这种藏在对话里的偏见,研究者设计了一个很巧妙的框架:同立场回音室

逻辑是这样的:按照意见动力学的基本假设,如果两个立场完全一致的人在一个没有外界信息干扰的环境里聊天,他们不应该改变观点——因为没有任何新信息或不同意见能说服他们。如果他们的立场还是变了,那这个偏移就不是”被说服”的结果,而是模型本身内在倾向的暴露 [1]。

研究者把这种”无理由的立场偏移”定义为对话偏见(conversational bias)——它不是AI故意说谎,而是在多轮对话的语境下,模型内在的倾向被逐步放大、最终体现在输出里 [1]。

实验结果很有说服力:在一次性问卷检测下,多数模型都能忠实扮演分配给它们的立场,只有Gemma1.1和GPT-3.5显示出轻微的自由倾向;可一进入对话场景,所有模型都藏不住了,系统性的偏移全面显现 [1]。而且聊得越久,偏见出现的比例越高——研究测试了1条、5条、10条、15条、20条消息的情况,发现偏移比例随对话长度稳步上升 [1]。

不止政治偏见:多智能体里的”行为偏移”是普遍现象吗?

对话偏见听起来像是政治话题特有的问题,但如果把视角拉宽,你会发现一个更一般的现象:只要把AI放进交互场景,它的行为就会偏离我们在孤立状态下观察到的样子。交互方式本身,就在改变行为。

另一项关于编码智能体的研究提供了旁证。研究者控制工具的底层能力完全相同,只改变”工具架构”——也就是这些能力怎么组织、怎么暴露给模型——结果发现AI的行为发生了显著变化 [2]。

打个比方:同样是修bug,给你一堆零散的命令行工具,和给你封装好的”搜索/查看/编辑”按钮,和让你直接写Python脚本,你能做的事本质上差不多,但你的稳定性、找代码的广度、花的时间都会不一样 [2]。

具体来说,把常用操作封装成清晰的原子工具后,最弱的模型重复尝试成功的稳定性提升了约4.7倍,主要是减少了”命令写错、编辑出错”这类低级失误;加一个自然语言搜索接口,能让模型读取的相关文件比例提升超过11%;换成Python风格的接口,能在保持性能的前提下减少41.6%的步骤和56.3%的token使用 [2]。

你看,能力没变,只是交互的”界面”变了,行为就变了。这和对话偏见的底层逻辑是相通的:我们以为AI有一个固定的”本性”,测一次就能知道;但实际上,AI的行为是”内在倾向”和”交互语境”共同作用的结果。换一个交互场景,表现就可能完全不同。

不过要说明的是,工具架构的研究是在编码任务上做的,和政治偏见的对话场景差得挺远,不能直接画等号。但放在一起看,它们都指向同一个警示:孤立状态下测得的AI行为,不一定能推广到交互场景 [2]。

这件事之前研究到哪了?——从「偏见会加剧」到「偏见藏得更深」

多智能体交互中的偏见问题,其实不是新发现。过去两年,已经有好几条研究脉络在推进这件事,而这次的论文把认识又往前推了一步。

最早被注意到的是”交互让偏见加剧”。2024年的一项研究发现,LLM本身就有很强的隐性性别偏见——大约50%的输出里都能找到偏见关联;而一旦进入多智能体交互场景,这些偏见还会进一步升级 [6]。研究者还提出了自我反思和微调两种缓解策略,组合使用效果最好 [6]。

然后是”回音室导致极化”的发现。同样在2024年,有研究模拟了基于ChatGPT的AI智能体在回音室环境中的表现,发现它们也会像人一样发生立场极化——观点越来越极端。研究者认为这是因为LLM有很强的提示理解能力,会主动整合自己和周围智能体的意见来更新观点 [7]。

再后来,研究者开始用多智能体方法本身来检测偏见。比如2024年底提出的MindScope框架,用多智能体辩论加上检索增强生成技术,来检测LLM中的72类认知偏差,检测精度比GPT-4高出最多35.10% [8]。这说明大家已经意识到:静态的单轮提问不够用了,得用动态的交互场景才能挖出更深的偏见。

而这次的研究最特别的地方在于,它发现的不是”交互让已有的偏见更明显”,而是**“交互能把静态检测完全看不到的隐性偏见给逼出来”** [1]。之前的研究至少还能在单轮测试中测到偏见的存在,只是交互后更强;而这次发现的对话偏见,在传统问卷检测下几乎是隐形的——你不把AI放进对话里,根本不知道它有这种倾向 [1]。

从”偏见会加剧”到”偏见会极化”再到”偏见藏得更深”,我们对AI偏见的认识正在从”静态属性”转向”动态涌现”。

真正的隐患:用带偏见的AI模拟社会,结果还可信吗?

对话偏见听上去像是个学术问题,但它有一个非常现实的隐患:AI社会模拟

近几年,越来越多的研究开始用LLM驱动的智能体来模拟人类社会,研究舆论演变、政策效果、疾病传播等等。这个领域叫基于智能体的建模(Agent-Based Modeling,ABM),传统ABM的问题是人的行为规则都是预先设定好的静态参数,没法反映真实世界里人会根据情况调整行为 [5]。

LLM的出现本来像是个解决方案——让AI来模拟人的决策,不就更真实了吗?比如HALE框架就把LLM嵌入流行病模拟中,让AI按疫情发展动态预测不同人群会不会减少户外活动,从而调整接触网络。用这个方法模拟盐湖县的COVID-19疫情,峰值时间和真实观测数据是吻合的 [5]。

但对话偏见给这件事浇了一盆冷水:如果AI智能体在交互过程中会自己偷偷改变立场,那我们模拟出来的”舆论演变""群体决策”,到底反映的是人类社会的规律,还是AI自己的对话偏见?

这就像用一把本身就不准的尺子去量东西,量得再仔细也没用。

比如你想研究”回音室会不会导致极化”,然后用AI智能体做模拟。结果发现确实极化了——但你怎么知道这是回音室的效应,还是AI本身就有的对话偏见在作祟?过去的AI极化研究可能都需要重新审视:那些被归因于”社交互动”的立场变化,有多少其实是模型内在倾向在对话中暴露了出来 [1]?

更麻烦的是,我们现在还搞不清楚这种偏见的边界在哪里。论文作者自己也承认,目前只研究了美国政治语境下的8个极化话题,能不能推广到性别、种族、招聘、治理等其他领域,还不知道 [1]。如果对话偏见是普遍现象,那所有用AI智能体做的社会模拟,都可能面临系统性偏差的风险。

尾声:为什么我们需要重新定义「AI偏见」的测量方式

聊到这里,你可能已经意识到,问题的根子不在”AI有偏见”这件事本身——我们早就知道AI有偏见了。真正的问题是:我们测量偏见的方式,可能从根上就错了

我们总把偏见当成AI的一种”属性”,就像物体的质量一样,测一次就能得到一个确定的值。所以我们做问卷、出选择题、算平均分,然后给模型贴上”有偏见”或”无偏见”的标签 [1]。

但对话偏见告诉我们,偏见更像是一种”反应”——它不是静态地藏在模型里,而是在特定的交互场景中才会显现出来。你用不同的方式”刺激”它,它就会给你不同的结果。静态问卷测不到,不代表它不存在;只是你用的测试方法,刚好触发不了它 [1]。

这和最近关于推理的讨论有异曲同工之处。有一篇立场论文就指出,现在AI推理评估最大的问题是定义模糊导致构念效度不足,且普遍”只看输出不看过程”——只看最终答案对不对,不关心答案是怎么来的。这就像只看终点判断跑步姿势对不对,跑得快可能是抄近道,不代表动作标准 [3]。

偏见评估也是一样的道理。我们只看AI在问卷上选了什么,不关心它在真实交互中是怎么一步步偏移的。这种”只看输出不看过程”的评估,本质上是把AI当成了一个答题机器,而不是一个会在互动中变化的主体。

当然,说起来容易做起来难。怎么设计出能捕捉动态交互中偏见的评估框架?对话偏见的内在机制到底是什么——是模型的迎合效应,还是真的有隐性立场?这些都还没有答案 [1]。但至少有一点是清楚的:要真正理解AI的偏见,我们得先把它从”选择题考场”里拉出来,放进真实的互动场景里去看。

如果你只记住一件事

AI的偏见不是一道能靠选择题测出来的填空题,而是在对话和交互中才会慢慢显露的动态反应。


参考文献

  1. Unmasking Conversational Bias in AI Multiagent Systems(arXiv、2026、全文精读)
  2. The Devil Is in the Interface: Evaluating How Tool Architecture Shapes Coding Agent Behavior(arXiv、2026、全文精读)
  3. Position: Reasoning is a Learnable Rule-Based Process(arXiv、2026、全文精读)
  4. Steering the Language Axis: From Linear Decodability to Causal Control(arXiv、2026、全文精读)
  5. LLM-powered reasoning in agent-based modeling(arXiv、2026、全文精读)
  6. Towards Implicit Bias Detection and Mitigation in Multi-Agent LLM Interactions(2024、仅摘要)
  7. Polarization of Autonomous Generative AI Agents Under Echo Chambers(2024、仅摘要)
  8. MindScope: Exploring cognitive biases in large language models through Multi-Agent Systems(arXiv (Cornell University)、2024、仅摘要)