Apple Machine Learning Research

The Communication Bottleneck: A Round-Trip Study of Tree-Structured Expression Serialization in Language Models

8.5内容质量

TL;DR · AI 摘要

树状结构表达式序列化是模型通过自然语言通信时的主要瓶颈，微调可提升性能达60.4个百分点。

核心要点

  • 生成模型与提取模型组合可提升60.4%准确率
  • 6%的失败源于生成阶段，树结构复杂度是关键因素
  • 3600微调样本使模型超越Gemini-3.1-Pro

结构提纲

按章节快速跳转。

  1. §引言

    揭示语言模型在自然语言通信中处理结构化信息的固有缺陷。

  2. ·方法论

    设计生成-提取双向验证协议，通过符号等价性构建评估基准。

  3. ›实验发现

    16模型组合测试显示通信通道存在60.4%的性能差异。

  4. ·核心结论

    生成阶段占73.6%失败率，树结构复杂度决定难度而非模型类型。

  5. ›解决方案

    3600微调样本使所有开放权重模型超越Gemini-3.1-Pro基线。

  6. ·应用价值

    为模型间结构化通信提供可量化的优化方向。

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • 通信瓶颈研究
    • 研究问题
      • 结构化信息序列化有效性
    • 方法
      • 生成-提取双向验证
      • 符号等价性评估
    • 发现
      • 通道损耗性
      • 生成阶段主导失败
      • 微调有效性

金句 / Highlights

值得收藏与分享的关键句。

#自然语言处理#模型通信#序列化#微调#树结构
打开原文

通信瓶颈：语言模型中树结构表达式序列化的往返研究 - 苹果机器学习研究

研究领域

方法与算法

,

语音与自然语言处理

会议

NeurIPS

内容类型

论文

发表时间

2026年9月

通信瓶颈：语言模型中树结构表达式序列化的往返研究

作者：Xavier Suau, Alex Ferrando de las Morenas, Luca Zappella, Samy Bengio

查看出版物

复制Bibtex

当语言模型进行链式推理或交换自由文本中间结果时，它们会将结构化信息序列化为自然语言。有多少树结构组合内容能通过这个瓶颈？我们提出一种往返协议，通过实证研究回答这个问题。生成器将程序生成的算术表达式转换为文字问题，独立的提取器仅从文字问题中恢复表达式，符号等价性提供精确的预言机。评估十六个模型的所有两两组合，生成一个通信矩阵，其边缘分布将生成质量与提取质量分离。三个主要发现如下。第一，通道是损毁且不对称的：交换生成和提取模型的角色会使准确性变化高达60.4点，最佳组合通过两端使用不同模型达到92.9%，优于两端使用相同模型。第二，至少73.6%的往返失败源于生成阶段，难度由树结构（操作符数量、深度、右分支）而非模型家族决定。第三，通道可训练：共享评估操作符和树结构的约3600个微调示例，使所有开放权重模型超越未训练的Gemini-3.1-Pro（匹配语义下的上限）。新操作符和词汇的独立领域场景也提升所有开放权重模型，证实增益非匹配语义的产物，但与前沿仍存在差距。这些结果共同表明，树结构表达式序列化是模型通过自然语言传递层次结构时的主要限制因素。

相关阅读与更新

苹果设备端与服务器端基础语言模型的更新

2025年6月9日

借助苹果智能，我们将强大的生成式AI直接整合到人们日常使用的应用和体验中，同时保护用户隐私。在2025年全球开发者大会上，我们推出了新一代专为增强最新软件版本中的苹果智能功能而开发的语言基础模型。我们还推出了新的基础模型框架，为应用开发者提供...

阅读更多

基于序列到树匹配的语法代码搜索：支持不完整代码片段的语法搜索

2024年6月20日 研究领域 人机交互 , 研究领域 工具、平台、框架 会议 程序语言设计与实现（PLDI）

Lightweight syntactic analysis tools like Semgrep and Comby leverage the tree structure of code, making them more expressive than string and regex search. Unlike traditional language frameworks (e.g., ESLint) that analyze codebases via explicit syntax tree manipulations, these tools use query languages that closely resemble the source language. However, state-of-the-art matching techniques for these tools require queries to be complete and…

在机器学习中发现机会

我们的机器学习研究每天都在取得新突破。

与我们合作