Chunlin 的论文科普

金融问答里，为什么小模型套对框架能赢大模型？

LLM 与智能体

你有没有过这种经历：让大模型算个定期存款利息，公式、利率表都喂给它了，结果还是算错——要么利率档次选错，要么闰年日期不对，多步算下来越偏越远。难道模型不够大？还是方法本身就错了？

在需要精确数字的金融问答里，为什么”把计算从模型手里拿出来”比”把模型做大”更管用？今天我们就从一篇2026年的论文 CIFQA: A Deterministic Tool-Grounded Multi-Agent LLM Framework for Financial Query Answering [1] 出发，拆解这个反直觉的结论。

大模型算利息的三种典型翻车

先别急着上架构，我们来看看大模型算定期存款时最常犯的三类错误 [1]。

第一种，选错利率档次。你说”存一年半”，模型可能直接拿一年期利率乘1.5，完全忽略银行实际是按”一年期+半年期”两档阶梯计息，或者按最接近的档期靠档计息。你把利率表清清楚楚贴在提示词里，它还是会挑错——不是没看见，是概率生成的模式下，“选对档”这件事没有100%的把握。

第二种，日期和闰年算错。2024年是闰年，2月有29天，按日计息的产品多一天利息；跨年的定期存款遇到利率调整，是按存入日利率还是按调整日利率？这些边缘规则，大模型经常”大概齐”，差个一两天在它看来根本不是事儿，但在银行账上就是真金白银的差别。

第三种，多步计算累积误差。先算税前利息，再扣利息税，再算复利，再算提前支取罚息……每一步都差一点点，五步下来结果就偏到姥姥家了。你让它检查，它还能一本正经地告诉你”计算正确”。

你可能会说：这是模型不够大，知识不够多吧？还真不是。论文里测了GPT-5.3、Gemini 3这些前沿大模型，哪怕把完整公式、利率表、计算规则全喂进去，算出来的结果照样错 [1]。问题的根源不是”没学会”，而是大模型的概率生成机制天生就不适合做精确算术——它是在”猜”下一个最可能的数字，不是在”算”一个确定的结果。

CIFQA：让LLM只懂语言，计算全交给程序

既然大模型不擅长算数，那就别让它算了。CIFQA框架的核心思路就八个字：各司其职，彻底分离 [1]。

你可以把它想象成一家银行的柜台流水线：

整条流水线上，大模型只干它擅长的”听懂人话”和”说人话”，所有碰数字的活儿全交给确定性的Python程序——利率查找、利息计算、日历计算（闰年、日计数、滚动期）、规则引擎（税、罚息），一步都不让模型碰 [1]。

当然，实际情况比这个比喻更复杂。五个智能体之间有严格的接口格式，参数提取要转成结构化JSON，计算计划要明确指定调用哪个工具、传哪些参数，不是随便聊天就能搞定的。

这么做效果怎么样？论文在126条专家设计的定期存款查询上做了测试，计算密集型查询的准确率（容差±1印度卢比）是：GPT-5.3只有45.05%，Gemini 3是70.30%，Claude Sonnet 4.6是83.66%，而CIFQA用Llama-Scout-17B这个只有170亿参数的开源小模型当骨干，达到了95.54% [1]。算术幻觉率（算错的比例）反过来，GPT-5.3高达54.95%，CIFQA只有4.46% [1]。

更有意思的是消融实验——把某个模块拆掉，看看性能掉多少。结果最狠的不是利率查找，也不是公式计算，而是**“滚动年调整”**这个处理闰年和跨年计息的小模块：去掉它之后，准确率直接从95.54%腰斩到48% [1]。其次是利率查找（掉到76.73%）和提前支取逻辑（掉到76.92%）[1]。你看，金融计算里”日子算对”比什么都重要。

反直觉：17B小模型为什么能赢GPT-5.3？

170亿参数的开源小模型，在计算准确率上把几千亿参数的前沿大模型甩在后面——这事儿听起来有点玄幻，但数据就摆在那儿 [1]。为什么？

因为这不是模型参数的较量，而是架构设计的胜利。CIFQA的核心贡献之一，就是证明了在数值可靠性这件事上，架构设计比模型规模更重要 [1]。

我们来做个对比：同样是CIFQA框架，换不同大小的骨干模型，表现怎么样？Llama-8B骨干是68.81%，Llama-Scout-17B骨干是95.54%，Llama-70B骨干反而降到了89.60% [1]。你没看错，70B的模型在这个框架里表现还不如17B的——说明一旦把计算从模型手里拿出去，模型本身的”算术能力”就不重要了，反而语言理解（提取参数、理解问题）的精准度才是瓶颈，而17B在这件事上已经够用了。

再看消融实验的结论：性能的主要驱动力是那些确定性组件——滚动年调整、精确利率查找、期限计算、提前支取逻辑 [1]。这些东西跟模型大小半毛钱关系都没有，就是几行Python代码的事儿。你给GPT-5.3再多参数，它的概率生成机制也永远做不到100%的算术准确；但你写个循环算闰年，计算机能算到天荒地老都不会错。

这就好比你让一个文科状元和一个普通学生比算账，文科状元再聪明，心算也比不过人家手里的计算器。不是状元笨，是你拿错了武器。

结构化推理的代价：什么时候”多想一步”反而更差？

听到这儿你可能会想：那是不是所有问题都该上多智能体、上工具调用、上结构化推理？当然不是。任何架构都有成本，多智能体的成本就是——它要花更多的token。

2026年的另一篇论文 Thinking Costs Tokens: When More Structure is Worth the Price [3] 专门研究了这个问题。研究者在金融推理任务上对比了两种系统：一种是单调用大模型（monolith），一次问答完事；另一种是带规划、验证、修复的搜索架构（verified search），要先规划、再检索、再生成、再检查、不行还得改。两者用同一个模型，同一个检索器，只改推理结构 [3]。

结果发现了一个清晰的阈值效应：

这个结论很重要：多智能体和结构化推理不是万能药。如果你的场景对响应速度要求极高、token预算很紧（比如嵌入式设备、低延迟对话），那搞复杂架构反而得不偿失。只有当预算足够支撑”规划-执行-验证”的完整流水线时，结构化设计才能发挥价值。

当然，实际情况比这个比喻更复杂——这里的预算是统一换算成”输出等价token”的（输入token价格是输出的17%）[3]，而且结论只在金融推理任务、GPT-5.4 Mini模型上验证过，换领域换模型阈值可能会变。

金融QA的多智能体之路：从反思到级联再到确定性

CIFQA不是凭空冒出来的，金融问答的多智能体路线其实已经走了好几年。

最早是2024年的 Enhancing Financial Question Answering with a Multi-Agent Reflection Framework [6]，思路是”多智能体反思”——让一个批评者智能体（critic agent）去审视推理步骤和最终答案，有错就改。这个方法让8B的LLaMA3模型准确率提升了15%，70B的提升了5%，甚至能跟GPT-4o-mini打平 [6]。但本质上，计算还是模型自己在做，反思只是降低了出错概率，没法根除。

到了2025年的 David vs. Goliath: Cost-Efficient Financial QA via Cascaded Multi-Agent Reasoning [7]，思路又进了一步：级联多智能体。把公式选择、信息提取、计算这些环节拆成不同的小模型串联，再加一个轻量验证机制纠错。8B的小模型靠这套架构，在BizBench上比最好的开源模型高出23.96%，性能接近GPT-o3-mini [7]。这时候已经有了”分工”的雏形，但计算环节可能还是模型在做。

再到2026年的CIFQA [1]，思路彻底变了：既然算术是模型的天生短板，那我就不让模型碰数字了。语言理解和数值计算彻底分离，计算全交给确定性工具——这一下就把准确率从”还不错”拉到了”几乎可用”的水平。

从”让模型自己反思改错”，到”让多个模型分工协作”，再到”干脆把计算从模型里拿出来”，这条路线的演进逻辑很清晰：越来越尊重LLM的能力边界，不再逼模型做它不擅长的事，而是把它放在”语言接口”的位置上，干它最擅长的事。

边界与未来：它不是万能的金融AI

吹了这么多，得泼点冷水。CIFQA不是什么万能金融AI，它的边界非常清晰 [1]。

首先，它只在定期存款这个细分场景上验证过。贷款摊销、债券定价、投资组合这些领域，论文只做了框架层面的讨论，说”换个计算模块就能扩展”，但没实际跑过数据 [1]。能不能真的扩展，还得打个问号。

其次，它不擅长政策类和分析类问题。在RAG规则查询（政策解读）上，CIFQA只有72%的准确率，而Claude Sonnet 4.6是100%；在利率分析查询上，CIFQA只有58.33%，Gemini 3有83.33% [1]。为什么？因为这些问题不是纯计算，需要理解复杂规则、做分析判断，这恰恰是大模型的强项，确定性工具帮不上忙。

第三，它依赖前端的参数提取和路由。如果提取智能体把本金、期限这些关键参数搞错了，或者路由智能体把问题类型分错了，后面的计算再准也白搭——错误会一路传下去 [1]。这是所有流水线架构的通病：每一个环节都是单点故障。

那未来往哪儿走？从更广阔的视角看，金融AI的挑战远不止算定期存款。2025年的FinMaster基准 [8] 告诉我们，当前大模型在基础金融任务上能有90%以上的准确率，但到了复杂多步推理的场景就掉到约40%，而且计算误差会层层传播，单指标准确率58%的话，多指标场景就只剩37%了 [8]。CIFQA解决了”计算准确”这一个环节，但全流程的金融工作流还有大量问题要解决。

另一个方向是智能体与工具的搜索与选择。当金融领域的工具越来越多（计算工具、检索工具、分析工具），怎么从大量异构的智能体和工具里找到最合适的组合？这是一个新兴的研究领域，叫agent and tool search——它跟传统信息检索不一样，搜的不是静态文档，而是可执行的系统，要考虑能力、可靠性、安全性、成本等多个维度 [5]。未来的金融AI可能不是一个固定的框架，而是能根据问题动态选择工具和智能体的自适应系统。

如果你只记住一件事

在需要精确数字的金融场景里，架构设计比模型大小更重要。17B的小模型靠”语言理解和确定性计算彻底分离”的多智能体框架，就能在定期存款计算上超过GPT-5.3——不是因为小模型更聪明，而是因为它不做自己不擅长的事，把算数的活儿交回给了计算机。

参考文献

  1. CIFQA: A Deterministic Tool-Grounded Multi-Agent LLM Framework for Financial Query Answering（arXiv、2026、全文精读）
  2. XHotpotQA: A Benchmark for Cross-Lingual Knowledge Composition in Multi-Hop Question Answering（arXiv、2026、全文精读）
  3. Thinking Costs Tokens: When More Structure is Worth the Price（arXiv、2026、全文精读）
  4. Engineering Continuity of Intent: An Architectural Framework for Long-Horizon Human-AI Co-Learning（SSRN、2026、仅摘要）
  5. Agent and Tool Search: Foundations, Techniques, and Open Challenges（Preprints.org、2026、仅摘要）
  6. Enhancing Financial Question Answering with a Multi-Agent Reflection Framework（arXiv (Cornell University)、2024、仅摘要）
  7. David vs. Goliath: Cost-Efficient Financial QA via Cascaded Multi-Agent Reasoning（ResearchSpace (University of Auckland)、2025、仅摘要）
  8. FinMaster: A Holistic Benchmark for Mastering Full-Pipeline Financial Workflows with LLMs（2025、仅摘要）