Google Research Blog

TimesFM-3: A zero-shot foundation model for multivariate forecasting

8.5内容质量
TimesFM-3: A zero-shot foundation model for multivariate forecasting

TL;DR · AI 摘要

Google推出TimesFM-3,首个支持多变量零样本预测的时序模型,在多个基准测试中显著超越现有方法。

核心要点

  • TimesFM-3参数量330亿,预训练数据覆盖1万亿时间点
  • 支持多目标预测、历史协变量和未来协变量联合建模
  • 零样本泛化能力使复杂多变量场景无需微调

结构提纲

按章节快速跳转。

  1. 介绍TimesFM-3作为新一代时序基础模型的突破性意义

  2. 从单变量到多变量预测的模型能力升级路径

  3. 基于解码器-only Transformer的高效时序处理机制

  4. 通过lookahead策略实现未来协变量的智能融合

  5. 在零售/金融等场景的基准测试中超越现有方法

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • TimesFM-3模型
    • 核心特性
      • 零样本多变量预测
      • 330亿参数规模
      • 1万亿时间点预训练数据
    • 技术架构
      • 解码器-only Transformer
      • 32步时序分块处理
      • lookahead动态协变量建模
    • 应用场景
      • 零售销量预测
      • 金融时间序列分析
      • 制造设备预测性维护

金句 / Highlights

值得收藏与分享的关键句。

#时间序列预测#基础模型#Google#机器学习
打开原文

TimesFM-3:用于多变量预测的零样本基础模型

2026年8月31日

Ayush Jain 和 Rajat Sen,Google Research 研究科学家

我们推出 TimesFM-3,这是最先进的时序基础模型,能够在单次前向传递中实现高度精确的多变量时序预测,在主要基准测试中显著优于其他预测模型。

快速链接

  • GitHub
  • HuggingFace
  • 分享 复制链接 ×

自 2024 年 TimesFM 首次发布以来,我们见证了时序基础模型在多个领域(如零售、金融、可观测性、制造、医疗保健和自然科学)的现实时序预测任务中的广泛应用。

直到 TimesFM-2.5(2025 年 9 月发布)之前,我们的模型严格局限于单变量预测:仅使用单一时间序列的历史数据进行预测。然而,大多数现实世界的预测问题本质上是多变量的:多个时间序列和辅助外部特征共同影响时间序列的未来预测。以零售连锁店的冰淇淋销售预测为例。仅凭过去的销售数据很少能讲完整个故事。一个好的预测还应参考相关产品的销售情况(如冰淇淋甜筒、糖浆)、历史客流量以及已知的未来事件(如天气预报、促销活动和节假日)。

今天,我们推出 TimesFM-3,这是我们的下一代时序基础模型,原生预训练用于多变量预测。TimesFM-3 拥有 3.3 亿个参数,预训练数据集包含超过 1 万亿个时间点的真实世界和合成时序数据。在继承前代模型高效性和零样本泛化能力的基础上,TimesFM-3 以零样本方式新增了对复杂多变量场景的稳健支持。它可以联合预测多个协同演化的时间序列,捕捉提升整体准确性的依赖关系,而无需特定任务的微调。该模型原生支持:

  • 多个目标:同时预测多个相关时间序列(例如联合预测不同品牌的冰淇淋)。模型支持所有目标的点预测和分位数预测。
  • 过去协变量:纳入仅能从历史中获知的特征(例如过去的客流量)。
  • 过去-未来(动态)协变量:利用已知的未来事件指导预测(例如计划中的促销活动或天气预报)。

内部原理:架构与推理

TimesFM-3 基于前代模型经过验证的仅解码器 Transformer 架构。与之前的版本一样,我们通过将连续数据点分组为 32 个时间步长的块来高效处理时间序列。然后我们按照 TimesFM-2.5 的方式对每个时间序列进行归一化处理,以应对尺度差异巨大的时间序列。

多变量标记构建

对于目标序列和过去协变量序列,标记直接从单个块中构建。然而,对于过去-未来协变量,TimesFM-3 采用了一种巧妙的“前瞻”策略:每个标记将当前块与未来块连接起来,使模型能够预览即将到来的已知信号。

交替注意力架构

一旦块被标记化,它们将通过输入残差块并进入主 Transformer 堆栈,该堆栈作为二维网格运行:

  • 因果时间注意力:标记在时间维度上横向关注。为防止数据泄露,这种注意力机制是严格因果的——一个标记只能查看其所属特定时间序列中的过去标记。
  • 全变量注意力:标记在序列间纵向关注。在任意时间步长,一个标记可以查看数据集中的所有其他时间序列,使模型能够学习复杂的跨序列相关性(例如,一个序列中的促销活动如何影响另一个序列的销售)。

这两种注意力机制在多个层中交替使用,无缝融合时间模式与跨序列关系。

根据 image_width 确定适当的宽度

对于移动设备图片,使用默认宽度

TimesFM-3 架构。

非自回归解码:单次传递完成预测

TimesFM 的早期版本逐个生成预测补丁,导致延迟、误差累积和计算成本增加。TimesFM-3 采用连续补丁掩码策略,在单次前向传递中生成整个预测范围。模型在观测上下文旁附加未来范围的掩码占位符标记。目标序列和过去协变量在预测范围中被掩码(因为它们的未来值未知),而过去-未来协变量保持可见,为模型提供已知的未来信号(如节假日或计划事件)。通过交替的注意力层,模型同时填充所有掩码的预测补丁,无需迭代循环。模型在每个预测步长为每个目标时间序列预测9个分位数(从第10百分位到第90百分位),提供完整的预测不确定性概率视图。

多变量预测示例说明

让我们重新审视冰淇淋销售示例。假设你正在制定下个月的促销计划并希望预测销售情况以提前准备。标准的单变量模型(下方红色曲线)仅基于历史销售数据向前推断周周期模式——但它无法预知特定日期的计划促销。TimesFM-3 的多变量模式(下方蓝色曲线)采用不同方法:通过将计划促销日程作为过去-未来协变量输入,模型从历史数据中学习促销与销售增长之间的关系,然后将这一知识应用于未来有计划促销的日期。结果是预测出每个促销日销售量将提升约20%。在下方图表中,促销协变量中的琥珀色区块标示了有促销的日期——蓝色预测对每个促销日期都有明显响应,而红色预测则没有。整个月累计下来,这使得对预期收入的预测更加准确。

促销规划:TimesFM-3 的多变量预测通过促销协变量,提前预测未来计划促销日的销售增长。

评估与基准测试

我们对TimesFM-3在三个综合性公开预测基准测试中进行了评估:Gift-Eval、FEV-Bench和Time。在所有三个基准测试中,TimesFM-3在所有预训练基础模型中,无论是点预测还是概率预测指标均排名第一。下图展示了三个基准测试中点预测准确性和概率预测质量(数值越低越好)在各任务中的平均排名。我们与包括多变量能力模型(如Chronos-2和Toto 2.0系列)以及我们之前的模型TimesFM-2.5在内的最新基础模型进行了对比。

每个图表中TimesFM-3包含两个条目。"单变量模式"条目展示了在不使用任何协变量或跨序列信息的情况下评估模型时的表现,此时模型将每个目标序列独立处理,如同传统单变量模型。即使在这种单变量模式下,TimesFM-3的表现已能匹配或超越其他竞争模型。当切换到完整的多变量模式时,TimesFM-3性能再次跃升,在点预测和概率预测的所有指标中均取得最佳平均排名。

Gift-Eval(顶部)、Fev-Bench(中部)和Time(底部)基准测试表现:TimesFM-3在单变量模式下已全面超越其他可复现的时间序列基础模型在点预测和概率预测指标上的表现。多变量模式通过利用可用的跨序列信息和协变量进一步提升了性能。

结论

我们推出了TimesFM-3,这是TimesFM零样本时间序列基础模型系列的最新一代模型,在多个公开基准测试中实现了最先进的多变量和单变量预测性能。现在TimesFM-3已在GitHub和Hugging Face上发布,其BigQuery集成功能将在未来几周内上线。在此期间,您可立即在单变量任务中使用TimesFM-2.5,熟悉BigQuery中的AI.FORECAST命令,无需任何机器学习专业知识。

致谢

本项目由Yichen Zhou、Petros Mol、Abhimanyu Das和Samet Oymak共同完成。

  • 标签:
  • 数据管理
  • 机器智能
  • 产品

其他相关文章

  • 2026年8月27日 行星预测引擎:通过地球AI实现全球模型自动化 地球AI · 生成式AI · 机器智能
  • 2026年8月26日 GlucoFM:连续血糖监测基础模型 健康与生物科学 · 机器智能
  • 2026年8月25日 AgentHands:为XR空间锚定智能体对话生成交互手势 人机交互与可视化 · 机器智能

×

基准图表展示TimesFM-3在FEV-Bench多变量数据集上的预测准确性。

TimesFM-3架构图说明时间序列分块处理、Transformer层和多变量预测输出。

推理时间和效率对比图突出显示TimesFM-3在不同预测范围内的速度和延迟表现。

基准评估图对比TimesFM-3与GIFT-Eval基准测试中领先的预测模型。

时间序列折线图展示销售预测,突出显示预测窗口内促销协变量的峰值。