The lakehouse is a better data warehouse: 2026 benchmarks and proof

Lakehouse 是更好的数据仓库：2026 年基准测试与实证 | Databricks 博客

跳至主要内容

Lakehouse

2026 年 10 月 6 日

Lakehouse 是更好的数据仓库：2026 年基准测试与实证

性能差距已弥合，能力差距仍未消除

作者：Joanna Zouhour

摘要

• Databricks Lakehouse 自 2022 年以来性能提升了 77%，客户如 Lumen Technologies 在迁移到 Lakehouse 后报告查询性能提升了 90%。

• 迁移到 Lakehouse 的组织报告称成本降低 25-60%，分析速度加快 80-90%，迁移时间以周为单位衡量。

• 数据仓库仍然能很好地完成一项工作，但 Lakehouse 在同一受控平台上不仅能完成该工作，还支持 AI、流处理、非结构化数据和开放格式可移植性。

数据仓库在过去 20 年是正确答案

数据仓库赢得了其地位。二十年来，它是存储结构化数据、强制执行模式并向仪表板和报告提供 SQL 查询最可靠的方式。如果你的工作负载是“分析师对干净表编写 SQL”，那么数据仓库几乎难以被超越。

这种工作负载仍然存在。但它不再是唯一重要的工作负载，也不再是决定竞争优势的工作负载。在 2026 年，领先的企业是那些数据平台能从同一受控基础架构同时服务于 BI 分析师、数据工程师、ML 模型、流处理管道和 AI 代理的组织。数据仓库只为其中一种用户而设计，而 Lakehouse 为所有用户而设计。

本文通过基准测试、客户实证和架构分析来论证这一观点。我们将坦率指出数据仓库仍具优势的领域，因为可信度比单纯宣传更重要。

Lakehouse SQL 性能如何追平

Lakehouse 最常见的反对理由一直是 SQL 性能。“当然，它很灵活，但能否在仪表板上与我的数据仓库媲美？”在 2026 年，答案是肯定的。

#### Databricks Lakehouse 的发展轨迹

Databricks 报告称，其生产环境中的 SQL 工作负载组合在 2024 年底比 2022 年基准快了 77%，相当于 Databricks 性能指数约 4 倍的提升。该指数源自数十亿个 BI、ETL 和数据探索工作负载的生产查询，而非单一合成基准测试。

性能提升来自 Photon 向量化执行引擎、查询规划、缓存、预测优化、连接算法和并发管理等多个方面的累积改进。在最近五个月的测量周期内，具体工作负载类别分别提升了约 14%（BI）、13%（数据探索）和 9%（ETL）。

#### 客户实际测量结果

最强有力的证据不是合成基准测试，而是生产环境的实际结果。Lumen Technologies 将 133TB 的关键电信数据从 Cloudera/本地迁移到 Databricks Lakehouse，测量到查询性能提升了 90%，原本需要数小时的查询现在只需几分钟。Lumen 还通过 Databricks Lakehouse Serverless 将计算成本降低了 30-40%。Trek Bicycle 在迁移到 Lakehouse 后，零售分析速度提升了 80-90%，每日刷新次数从 1 次增加到 3 次。这些不是实验室结果，而是服务于真实业务运营的生产工作负载。

#### 实时分析：Lakehouse//RT

对于需要高并发下亚秒级延迟的工作负载，Lakehouse//RT 是专为分析型读取设计的无服务器 SQL 数据仓库。Databricks 报告显示其延迟低至 10 毫秒，每秒可处理高达 12,000 个查询。它直接查询受管控的湖仓表，无需单独的 OLAP 服务副本、CDC 管道或同步层。

这具有重要意义，因为传统实时分析架构需要在仓库旁维护一个独立的服务数据库。湖仓一体架构将这一需求整合为统一的受管控层级。

仓库仍无法实现的功能

匹配 SQL 性能只是前提条件。湖仓一体架构真正的价值在于其超越 SQL 的能力。

#### 1. 原生支持 AI 代理和机器学习模型

传统仓库专为 SQL 用户和 BI 工具构建。AI 代理需要从同一平台访问结构化表、非结构化文档、嵌入向量和实时信号的受管控权限。Gartner 将这一转变描述为从仓库向更广泛的"分析控制平面"演进，该平面整合了受管控数据、语义层、AI 代理和执行能力。

Deloitte 2026 年报告显示，仅有约五分之一的企业具备成熟的自主 AI 代理治理模型。我们认为未来方向需要同时治理数据、模型和代理行为的平台，而非仅治理表结构的仓库。

湖仓一体架构将 AI 视为一级工作负载。驱动仪表板的受管控表同样驱动模型训练、特征工程、检索增强生成和代理工具调用。Unity Gateway 将治理延伸至 AI 运行时：控制代理可调用的模型、记录提示与响应、实施速率限制，并治理 MCP 服务器和工具。

#### 2. 处理非结构化和半结构化数据

仓库擅长处理行列数据。但企业知识存在于文档、邮件、PDF、图像、日志和代码中。Komprise 2026 年调查显示，数据分类和标签是准备非结构化数据用于 AI 的首要挑战，而麦肯锡关于 AI 数据准备度的研究强调了将非结构化内容与结构化企业数据连接的重要性。

湖仓一体架构在云对象存储中以开放格式存储所有数据类型。结构化表、半结构化 JSON、非结构化文档和向量嵌入在统一的治理模型下共存。您无需为每种数据类型单独部署系统。

#### 3. 消除系统间的数据复制

这就是总拥有成本论点的关键所在。大多数仓库架构需要数据从数据湖流向仓库，然后再复制到 ML 环境、特征库或部门级提取中。每次复制都会产生存储、计算和治理开销。

湖仓一体架构通过从同一受管控数据源服务所有工作负载来消除这一问题。SQL 查询、Spark 转换、流式管道、Python 笔记本和 ML 训练作业均读取相同的 Delta Lake 或 Apache Iceberg™ 表。无需复制，无需同步，无需断开血缘关系。

#### 4. 在单一平台实现流处理和批处理

数据仓库以批处理为主。数据按照预定时间到达，经过转换后数小时后才能进行查询。湖仓一体架构则支持流式数据摄入与批处理并行，数据可在数秒内而非数小时后实现查询。对于欺诈检测、运营监控和实时个性化等使用场景，这是必需的功能而非可选特性。

#### 5. 在您可控的开放格式上运行

将存储、计算和专有数据格式紧密耦合的数据仓库会随着时间推移产生累积的切换成本。湖仓一体架构基于 Delta Lake 和 Apache Iceberg™ 运行，这两种开放表格式可被任何兼容引擎读取。Unity Catalog 提供了基于 Apache 2.0 许可证的开放多引擎目录层，UniForm 可从 Delta 表生成 Iceberg 兼容的元数据，使外部引擎无需复制数据即可读取相同数据。

实证：组织实际测量的结果

客户案例将论点从理论转向实证。以下是组织从数据仓库迁移到湖仓一体架构后实际测量到的结果。

#### 成本降低

组织

迁移

成本结果

AXA Japan

传统数据仓库迁移到 Databricks 湖仓一体架构

仓库成本降低 60%，ETL 成本降低 70%

Posti

从 Oracle + Azure Synapse + 自定义数据仓库迁移到 Databricks

数据环境成本降低 30%

Nationwide

从 SQL 数据仓库迁移到 Databricks 无服务器架构

总体成本降低 29%，空闲计算成本降低 33%

Vivriti Capital

从 Amazon Redshift 迁移到 Databricks 湖仓一体架构

总体拥有成本降低 25-30%

趋势一致：成本降低 25-75%，不仅源于查询成本降低，更源于消除冗余系统、数据副本和多平台治理开销。

#### 性能提升

性能结果

Lumen Technologies

从 Cloudera/本地部署迁移到 Azure Databricks 湖仓一体架构

查询性能提升 90%（小时级到分钟级），迁移 133TB 数据

Trek Bicycle

分析速度提升 80-90%，每日刷新次数增加至 3 倍（原为 1 次）

Thomas International

从 Snowflake 迁移到 Databricks 湖仓一体架构

开发生产力提升 40%

#### 迁移速度

规模

时间线

IndusInd Bank

44 个业务领域共 1.5PB 数据

15 个月（原预计 2.5 年）

Redshift 迁移

约 8 周

133TB 数据，关键电信系统

9 个月，按时按预算完成

迁移时间表大幅压缩。Lakebridge 自动化评估、转换和对账功能支持 Snowflake、Oracle、Teradata、Redshift、BigQuery 和 SQL Server。Databricks 迁移代理使用 AI 代理跨方言转换 SQL 脚本，每批次可转换多达 300 个文件。这些工具不会消除人工验证的必要性，但能减少使迁移速度变得难以承受的大量人工操作。

数据仓库仍具优势的领域（及其重要性降低）

以下是数据仓库仍具优势的领域：

• 开箱即用的 SQL 性能可预测性。经过良好调优的数据仓库需要更少的数据工程工作量即可实现快速仪表板查询。湖仓一体架构的性能更受文件大小、分区策略、聚类、统计信息和压缩策略的影响。维护不佳的湖仓一体架构即使使用相同硬件也可能比数据仓库慢得多。

• 仅 SQL 工作负载的管理更简单。如果 90% 以上的计算资源用于结构化 SQL 仪表板，且团队完全专注于 SQL，数据仓库可能需要更少的运维开销。

• 成熟的高并发BI服务。Snowflake的多集群仓库和交互式仓库专为数千个并发短查询而设计。湖仓一体SQL引擎具有竞争力，但可能需要更多配置才能匹配这一特定模式。

但到2026年，这些优势的重要性将减弱：企业数据工作负载中仅使用SQL进行BI的比例正在缩小。Forrester在2026年第三季度的Wave报告中评估了14家领先的湖仓一体供应商。Gartner在2025年发布了首份《数据湖仓一体平台市场指南》，并在2026年推出了湖仓一体参考架构。这两家机构现在都将湖仓一体视为主流企业数据平台类别。这表明数据仓库的优势确实存在，但随着AI、流数据和非结构化数据成为核心企业需求，其适用范围正变得越来越狭窄。

赢得胜利的架构

报告结果最突出的组织并不是用湖仓一体替代数据仓库，而是在运行一个比传统仓库更强大的湖仓一体架构，同时整合了所有其他功能。

该架构如下：

• 基于云对象存储的统一数据基础，采用开放表格式（Delta Lake、Apache Iceberg™），并通过Unity Catalog进行治理。

• 在相同数据上运行多个工作负载引擎：Databricks Lakehouse用于SQL分析，Lakehouse//RT用于亚秒级服务，Apache Spark™声明式管道用于ETL，Lakeflow Jobs用于编排，Agent Bricks用于AI代理，Lakebase用于操作/事务工作负载。

• 通过Unity Catalog和Unity Gateway实现统一治理，覆盖数据、模型、代理、工具和AI流量。

• 通过UniForm（Delta表可作为Iceberg读取）、Unity Catalog（开放多引擎目录）以及标准JDBC/ODBC连接（用于Power BI、Tableau、Looker等BI工具）实现开放互操作性。

如果你仍在使用数据仓库该怎么办

你不需要明天就迁移所有内容。但你应该开始衡量差距。

• 量化你的隐性成本。将仓库、独立的ML平台、流数据基础设施、数据湖、治理工具以及它们之间的数据副本所花费的费用加起来。这才是你真实的总拥有成本（TCO），而不仅仅是仓库账单。

• 进行并行概念验证。选择一个高价值领域。在你的仓库和Databricks Lakehouse上运行相同查询。在真实并发情况下测量p50、p95和p99延迟。测量每1000个查询的成本。然后添加仓库无法处理的ML和流数据工作负载，测量整个平台的总成本。

• 从新工作负载开始。如果迁移感觉有风险，将下一个AI、流数据或数据工程项目构建在湖仓一体架构上。让仓库处理现有的BI，同时让湖仓一体在新用例中证明自身价值。

• 使用Lakebridge评估迁移复杂性。评估阶段是免费的，能为你特定的SQL环境提供具体的迁移画面。

• 设置明确的迁移门禁。在湖仓一体在查询性能、数据对账、可用性和安全性方面匹配或超越仓库之前，不要进行迁移。

数据仓库长期以来是正确的答案。现在湖仓一体才是正确的答案，不是因为仓库失效了，而是因为问题本身发生了变化。

立即行动：

• 在Databricks上尝试TPC-DS评估

• 阅读从仓库迁移到湖仓一体的指南

• 免费试用Databricks

常见问题

Lakehouse 在 SQL 查询方面是否真的比数据仓库更快？对于大多数工作负载，Lakehouse 现在在 SQL 查询性能方面已达到或超越数据仓库水平。Databricks Lakehouse 自 2022 年以来性能提升了 77%，独立的 TPC-DS 测试表明，在 1TB 工作负载上，其 p50 延迟低于 1 秒，成本比传统计算方式降低 74%。在预热缓存支持的高并发短查询场景中，数据仓库可能仍略胜一筹，但两者差距正在缩小。

迁移到 Lakehouse 能节省多少成本？已发布的客户案例显示成本降低幅度在 25% 到 75% 之间。AXA Japan 将数据仓库成本降低了 60%。成本节约主要源于消除冗余系统和数据副本，而不仅仅是查询成本降低。

现有的 BI 工具（如 Power BI 和 Tableau）如何处理？它们可通过标准 JDBC/ODBC 连接原生支持 Databricks Lakehouse。现有仪表板和报表可直接连接 Lakehouse 表，无需重建。AI/BI 仪表板和 Genie Agents 可在此基础上提供自然语言分析功能。

从数据仓库迁移到 Lakehouse 需要多长时间？这取决于复杂程度，但迁移周期已大幅缩短。Vivriti Capital 在约 8 周内完成从 Redshift 的迁移。IndusInd Bank 在 15 个月内完成了 1.5PB 数据跨 44 个业务领域的迁移。Lakebridge 和 Agentic Code Converter 通过自动化评估、SQL 转换和数据对账加速迁移过程。

Lakehouse 能否处理实时分析？可以。Lakehouse//RT 可在受控的 Lakehouse 表上实现高并发的亚秒级分析查询。Databricks 报告显示其可实现每秒 12,000 次查询、延迟低于 100 毫秒。对于流式数据摄入，Zerobus 和 Apache Spark™ Declarative Pipelines 可实现亚秒级数据新鲜度。

将最新文章发送到您的邮箱

订阅我们的博客，最新文章将发送至您的邮箱。

立即订阅

查看所有博客

slice-start id="_gatsby-scripts-1"

slice-end id="_gatsby-scripts-1"