Unlocking Investment Insights Without Migrating Your Data: Lakehouse Federation

在不迁移数据的情况下解锁投资洞察：湖仓联合 | Databricks 博客

跳至主要内容

平台

2026年10月27日

在不迁移数据的情况下解锁投资洞察：湖仓联合

如何在不损害安全性和合规性的前提下，将敏感的本地投资组合数据与第三方金融情报相结合

作者：Meghana Padmanabhan、Isaac Gritz 和 Max Nienu

摘要

• 联合查询，无需复制：Databricks 湖仓联合通过标准 SQL 直接从 Databricks 查询本地数据库，数据无需迁移。

• 订阅而非构建：Databricks 市场中的 FactSet 金融数据以原生目录形式呈现，无需数据摄入管道。

• 一次查询，全景视图：跨两个目录的单条 SQL 连接语句可驱动仪表板和 Genie 自然语言查询，零中间持久化对象即可提供丰富的投资组合和投资信息。

湖仓联合：随时随地查询，零数据迁移

在当今的企业环境中，数据很少集中存储于单一位置。金融机构、资产管理公司和个人投资者面临共同的挑战：其最敏感的数据（包括投资组合持仓、交易头寸和客户信息）通常存储在企业防火墙后的本地数据库中、云环境中或两者之间。这一挑战因分析所需第三方数据（包括市场数据、分析师预测和财务基本面）越来越多地存储在云端而进一步加剧。

传统方法迫使用户做出艰难选择：将敏感数据复制到云端、搭建脆弱的 ETL 管道，或彻底放弃两者整合。

如果能够直接联合本地数据源、在云端订阅第三方数据，并通过这两个目录直接生成仪表板和自然语言对话，而无需任何管道、物化视图或中间持久化对象，会怎样？

这就是 Databricks 湖仓联合最简单的实现方式。

解决方案：随时随地查询，零数据迁移，零构建

Databricks 湖仓联合使您能够创建到 SQL Server、PostgreSQL、MySQL、Snowflake 等外部数据库的联合连接，并通过标准 SQL 直接从 Databricks 查询这些数据库。数据保留在原处，无需复制、无需同步、无需应对合规难题。

在其上添加一个市场数据共享，您将在 Unity Catalog 中获得两个并列的目录——一个联合目录、一个共享目录，普通 SQL 查询可像对待任意两张普通表一样将它们连接起来。

实际案例：客户投资组合分析

让我们通过一个具体示例进行说明。假设您是一家财富管理公司，拥有以下数据：

• 一手数据：您的投资组合持仓——持有的股票及份额数，存储在本地 SQL Server 数据库中。

• 三方数据：来自 Databricks 市场的 FactSet 金融数据，包括盈利基本面和分析师预测。

您的目标：构建一个投资仪表板，展示预测盈利、识别高风险头寸并提出操作建议，而无需将持仓数据暴露在云端。

连接会安全地存储您的凭据。

步骤1b：创建外部目录

建立连接后，创建一个映射到本地数据库的外部目录。这会使您的外部表显示为Unity Catalog原生对象。

完成此步骤后，您的本地数据会以目录形式呈现，但数据始终保留在SQL Server中。每个查询都会实时针对源执行。

步骤1c：从市场订阅FactSet数据

Databricks市场可让您即时访问FactSet全面的金融数据。搜索FactSet，查看可用数据集并申请访问权限。一旦提供方批准您的请求，您就可以订阅相关数据集。

订阅后，数据会以共享目录形式出现在您的工作区中，并按以下模式组织：

• fe_v4 - FactSet Estimates：分析师共识每股收益预测、收益预测和估计数量
• ff_v3 - FactSet Fundamentals：包括收入、净利润、利润率和债务水平的年度财务报表
• sym_v1 - Symbology：将您的投资组合符号连接到FactSet内部标识符的股票代码到实体映射

这些表会与Unity Catalog中的联合投资组合目录并列显示。您可以浏览它们、预览数据并查看模式，而无需任何数据摄入或复制操作。

步骤2：探索合并数据

步骤2a：使用SQL探索合并数据

当两个数据源都通过Unity Catalog可访问时，资产管理者可以打开SQL编辑器并编写一个查询，该查询可以跨越联合持仓的一侧和FactSet市场表的另一侧。对SQL编写者来说，它们看起来像是仓库中同一位置的两个普通表。

无需创建管道，无需安排物化视图，也无需维护黄金层。每次运行查询时，系统都会实时重新连接本地源并重新连接市场共享数据。

步骤3：使用数据

步骤3a：创建投资仪表板

仪表板通过将相同的合并查询直接内联到每个小部件的数据集中来实现。不会创建视图，也不会持久化表。每次刷新时，每个小部件都会重新连接数据源。

它可以立即回答以下问题：

• 投资组合健康状况：总持仓、当前年度收益、预测年度收益、高风险数量
• 风险分布：账簿中有多少比例属于高/中/低风险？
• 投资建议：我应该买入更多股票的数量与卖出数量的对比？
• 顶尖表现者：哪些持仓产生了最多的收益？当前收益与预测收益的对比如何？
• 完整持仓表：每只股票的收益、增长率、利润率、资产负债率、风险等级和操作建议

步骤3b：使用Genie启用自然语言查询

最后一部分：一个直接连接到相同联合持仓和FactSet市场表的Genie代理。Genie在指令中接收连接链和数据质量过滤器。它将自然语言转换为仪表板运行的相同查询。

结果：实现数据访问民主化。投资组合经理、财务顾问和个人投资者都可以在不编写SQL、不进行任何数据物化的情况下获取答案。

Databricks Lakehouse Federation 彻底改变了混合数据分析的经济模式。您无需将数据迁移到云端这一昂贵、风险高且耗时的过程，也无需在云端构建和维护复杂管道的繁琐工作，而是可以将计算能力带到数据所在的位置，通过单一查询驱动所有后续操作。

在本示例中，该教程构建了一个完整的投资分析解决方案，具备以下功能：

• 实时查询本地持仓数据
• 通过 Marketplace 获取 FactSet 金融情报对数据进行增强
• 在单个 SQL 查询中合并两者，无需持久化中间对象
• 在交互式仪表板中可视化所有结果
• 通过 Genie 实现自然语言查询

整个过程无需将任何投资组合数据行复制到云端。

数据分析的未来既不是将所有数据集中到单一位置，也不是通过构建复杂管道来重塑数据。它的核心在于能够查询任何位置的数据。虽然本文以投资组合为例，但这种模式——联合敏感的内部数据、订阅基于云端的第三方数据，并在不移动或复制任何数据的情况下进行分析——具有广泛适用性。医疗组织可以将受 HIPAA 保护的患者记录与药物相互作用数据库结合，用于治疗建议；制造企业可以将本地 IoT 运行数据与云端供应链数据联合分析；零售商可以将线下 POS 系统与第三方人口统计数据集结合。共同点在于：敏感的内部数据始终保持安全保护，同时又能与第三方数据实现深度分析。

立即开始体验？请查看以下链接：

• 配置联邦连接 —— 通过 Lakehouse Federation 文档连接外部数据库
• 浏览 Marketplace —— 访问 marketplace.databricks.com 查看可用数据产品
• 创建仪表板 —— 使用 AI/BI 仪表板可视化分析结果
• 启用 Genie —— 允许用户通过自然语言提问
• 查看 GitHub 上的完整代码 —— 本文博客的代码

相关标签：

Solutions, Tutorials, Financial Services, Insights and Customers

订阅获取最新文章

订阅我们的博客，最新文章将直接发送到您的邮箱。

立即注册

查看所有博客

slice-start id="_gatsby-scripts-1"

slice-end id="_gatsby-scripts-1"