德意志交易所如何构建生成式AI工具以处理Zeppelin笔记本到Databricks的大规模迁移

德意志交易所如何构建生成式AI工具实现Zeppelin笔记本大规模迁移至Databricks | Databricks博客

跳过主内容

[](https://www.databricks.com/)

[](https://www.databricks.com/)

• 为什么选择Databricks

• * 探索

• 面向应用开发者

• 面向管理者

• 面向初创企业

• 湖仓一体架构

• Databricks AI研究

• 客户案例

• 客户成功故事

• 合作伙伴

• 合作伙伴概览 探索Databricks合作伙伴生态

• 合作伙伴计划 了解权益、层级及加入方式

• 查找合作伙伴 按需查找Databricks合作伙伴

• 合作伙伴聚焦 精选合作伙伴动态

• 云服务商 AWS、Azure和GCP上的Databricks

• 合作伙伴解决方案 获取行业定制化迁移方案

• 产品

• * Databricks平台

• 平台概览 数据、分析与AI统一平台

• 数据共享 安全、开放、零拷贝的全数据共享

• 统一治理 全数据资产统一治理

• 人工智能 构建部署ML与生成式AI应用

• 商业智能 真实场景数据的智能分析

• 数据库 面向数据应用与AI代理的Postgres方案

• 数据管理 数据可靠性、安全性与性能保障

• 数据仓库 面向SQL分析的Serverless数据仓库

• 数据工程 批流数据ETL与编排

• 业务生产力 统一搜索、聊天、仪表盘及应用

• 应用开发 快速构建安全的数据与AI应用

• 安全防护 专为AI时代打造的开源代理式SIEM

• 集成与数据

• 市场 数据、分析与AI开放市场

• IDE集成 在常用IDE中构建湖仓一体架构

• 合作伙伴连接 发现并集成Databricks生态

• 定价

• Databricks定价 查看产品价格与DBU详情

• 成本计算器 估算任意云端计算成本

• 开源

• 开源技术 了解平台背后的创新技术

• 解决方案

• * 行业解决方案

• 通信行业

• 金融服务

• 医疗与生命科学

• 制造业

• 媒体与娱乐

• 公共部门

• 零售业

• 查看全部行业

• 跨行业解决方案

• AI代理

• AI治理

• 网络安全

• 营销

• 迁移与部署

• 数据迁移

• 专业服务

• 解决方案加速器

• 探索加速器 更快实现关键成果

• 资源

• * 学习

• 培训 探索量身定制的课程

• Databricks 学院 登录学习平台

• 认证 获取专业认可

• 免费版 免费学习专业数据与AI工具

• 高校联盟 想要教授Databricks？了解详情

• 活动

• Data + AI 峰会

• Data + AI 全球巡演

• AI 主题日

• 活动日历

• 博客与播客

• Databricks 博客 探索新闻、产品发布等信息

• AI 博客 探索AI研究与工程成果

• Data Brew 播客 聊聊数据那些事！

• 数据与AI冠军播客 创新驱动者的深度洞察

• 获取帮助

• 客户支持

• 文档中心

• 社区

• 深度探索

• 资源中心

• 演示中心

• 架构中心

• 关于

• * 公司

• 我们是谁

• 团队介绍

• Databricks 创投

• 联系我们

• 职业发展

• 加入Databricks

• 开放职位

• 新闻

• 奖项与荣誉

• 新闻中心

• 安全与信任

• 安全与信任

• DATA + AI 峰会 

• 登录
• 联系我们
• 试用Databricks

1. 全部博客
2. / 公司

目录

客户案例2026年5月19日

德意志交易所如何构建生成式AI工具实现Zeppelin笔记本大规模迁移至Databricks

作者：Evan Pandya 与 Tobi Wole-Fasanya

核心要点

• 德意志交易所集团StatistiX团队面临2027年截止期限的笔记本迁移挑战，影响2000+用户且缺乏可扩展的手动迁移方案
• 团队开发了Databricks应用，自动处理结构转换并通过情境化Genie提示实现AI辅助逻辑重构
• 新工具使笔记本重构时间从数小时缩短至15-20分钟/个

在德意志交易所集团，我们的StatistiX平台提供集团约95%的清算与交易数据，支撑数百名业务用户的自助分析能力。确保数据的可访问性与可操作性是我们一切工作的核心。

多年来，我们依赖运行在Cloudera上的Zeppelin笔记本访问HDFS和Oracle数据系统。该平台曾表现卓越，但技术环境已发生剧变：Cloudera将在2027年全面停用Zeppelin，我们的分析工作负载正在向云端迁移，而Databricks已成为我们新的统一分析平台。这些变化共同构成了大多数组织低估的迁移挑战：2000多名用户和海量笔记本——其中许多深度嵌入日常业务工作流——都需要完成迁移。

手动重写所有内容需要数年时间。因此我们决定在 Databricks 上构建一条更优路径。

## 笔记本迁移难题

基础设施迁移备受关注，而笔记本迁移往往被忽视——这正是拖慢团队效率的重要原因。

我们的 Zeppelin 笔记本并非简单脚本。它们包含复杂的 SQL 和 Python 逻辑、自定义解释器、Oracle 和 HDFS 引用、可视化组件、控件以及多年积累的调度逻辑。每个笔记本都承载着业务团队依赖的机构知识。整个笔记本生态的多样性使得基于规则的重写引擎不切实际——逻辑过于异构且业务特定化，自动化规则难以可靠处理。

这一限制让我们获得了更清晰的设计思路：将结构与逻辑分离，并采用合适的工具处理各自部分。结构转换（将 Zeppelin 段落格式映射为 Databricks 单元格、翻译解释器语法、重构元数据）具有确定性且可自动化，而逻辑重构则不然。值得庆幸的是，LLM 在处理结构转换方面表现出色。

![图 4：笔记本迁移](https://www.databricks.com/sites/default/files/inline-images/notebook-migration.jpg)

展开

## 在 Databricks Apps 上构建转换器

基于该设计原则，我们构建了 Zeppelin 到 Databricks 笔记本转换器——一个专为迁移工作流设计的 Databricks App。

该应用处理转换的结构层面：Zeppelin 段落转为 Databricks 单元格，应用解释器映射（将 %python、%sql、%pyspark 等转换为 Databricks 等效语法），并将笔记本元数据重构为有效的 .ipynb JSON 格式。原始内容被完整保留。此阶段不重写逻辑，仅为下一步做准备。

下一步是 Genie。对于每个上传的笔记本，应用会自动生成包含 Zeppelin 环境细节的情境感知提示（prompt），包括自定义解释器、数据源和配置模式。这些提示为 Genie 提供了以 Databricks 原生方式准确重构逻辑所需的上下文。

业务用户的工作流非常简单：

1.  将 Zeppelin 笔记本导出为 JSON
2.  上传至 Databricks App
3.  点击转换
4.  下载转换后的 .ipynb 文件
5.  打开 Databricks，上传笔记本，启动 Genie 并粘贴生成的提示
6.  Genie 提出澄清问题并重建笔记本

该应用采用 shadcn UI 前端构建。我们最初创建了 Streamlit 原型，但认为 shadcn 提供了更专业且可扩展的界面。Databricks Apps 的开发体验让我们无需搭建独立基础设施即可快速交付。

## 我们选择不自动化的部分

最重要的设计决策之一是明确工具应刻意保留的内容。

转换器不重写 SQL 逻辑、Python 逻辑、可视化组件、控件、Oracle 和 HDFS 引用、调度逻辑或业务特定的自定义代码。所有这些内容在转换后的笔记本中保持原样，因为自动重写会引入错误并破坏输出可信度。这些正是不同笔记本间差异最大、承载最关键业务逻辑的元素。它们属于 Genie 的范畴——Genie 能解读上下文、提出澄清问题并做出规则无法实现的判断。

这种自动化确定性部分+委托可变部分的混合方法，使我们能规避基于规则系统的脆弱性，并在 AI 真正擅长的领域发挥其优势。

## 成果：从数小时到数分钟

通过结合结构转换与 AI 辅助的逻辑重构，我们将笔记本重构时间从数小时手动工作缩短至每本 15-20 分钟（取决于复杂度）。对于这种跨多业务领域的大规模迁移，该方法将原本资源密集、耗时的任务转变为可扩展、可重复的工作流，大幅缩短耗时。

速度提升也改变了工作性质。业务用户迁移自有笔记本无需精通 Databricks。他们只需遵循简短步骤，获取提示，让 Genie 完成重构。该工具足够易用，迁移不再需要专职工程团队。

## 经验总结

该项目提炼出几条适用于类似场景的原则：

*   避免过度设计。我们首次尝试采用更复杂的智能体架构，徒增开销却未解决核心问题。事实证明简洁的 UI 与纯净的后端完全够用
*   基于规则的重写难以应对异构内容。笔记本逻辑的多样性使规则方案不切实际。LLM 是处理多变性的关键，而精心设计自动化与 AI 的交接点至关重要
*   上下文是区分优质提示与卓越提示的关键。通用 Genie 提示产生通用结果。投入构建包含特定环境知识（解释器/数据源/配置模式）的提示，才能使输出真正可用
*   尽早联动平台团队。与 Databricks 团队全程协作帮助我们保持对齐，避免返工

## 后续计划

虽然转换工具的初期开发已完成，我们正推进大规模真实场景测试。当前重点包括：完善提示定义以提高准确性，跨多个业务实体和 IT 部门验证工具，以及准备让用户开始使用。

更广泛的意义正是最令我们兴奋之处。该项目证明：AI辅助迁移并非未来能力，而是当下可用的解决方案！通过将Databricks Apps与生成式AI相结合，我们构建了一套可复用的工作流程，将云转型中最棘手的难题转化为快速且可扩展的流程。

获取最新博客内容

订阅我们的博客，最新文章将直达您的收件箱。

注册

*

工作邮箱

*

国家 国家*

点击“订阅”即表示我理解将接收Databricks的通讯信息，并同意Databricks根据其隐私政策处理我的个人数据。

订阅

查看所有博客

为何选择Databricks

探索

• 面向应用开发者
• 面向高管
• 面向初创企业
• 湖仓一体架构
• Databricks AI研究

客户

• 客户案例

合作伙伴

• 合作伙伴概览
• 合作伙伴计划
• 寻找合作伙伴
• 合作伙伴聚焦
• 云服务提供商
• 合作伙伴解决方案

为何选择Databricks

探索

• 面向应用开发者
• 面向高管
• 面向初创企业
• 湖仓一体架构
• Databricks AI研究

客户

• 客户案例

合作伙伴

• 合作伙伴概览
• 合作伙伴计划
• 寻找合作伙伴
• 合作伙伴聚焦
• 云服务提供商
• 合作伙伴解决方案

产品

Databricks平台

• 平台概览
• 数据共享
• 数据治理
• 人工智能
• 商业智能
• 数据库
• 数据管理
• 数据仓库
• 数据工程
• 业务生产力
• 应用开发
• 安全防护

定价

• 定价概览
• 定价计算器

开源项目

集成与数据

• 市场
• IDE集成
• 合作伙伴连接

产品

Databricks平台

• 平台概览
• 数据共享
• 数据治理
• 人工智能
• 商业智能
• 数据库
• 数据管理
• 数据仓库
• 数据工程
• 业务生产力
• 应用开发
• 安全防护

定价

• 定价概览
• 定价计算器

开源项目

集成与数据

• 市场
• IDE集成
• 合作伙伴连接

解决方案

Databricks 行业解决方案

• 通信
• 金融服务
• 医疗与生命科学
• 制造业
• 媒体与娱乐
• 公共事业
• 零售业
• 查看全部

跨行业解决方案

• AI代理
• AI治理
• 网络安全
• 营销

数据迁移

专业服务

解决方案加速器

解决方案

Databricks 行业解决方案

• 通信
• 金融服务
• 医疗与生命科学
• 制造业
• 媒体与娱乐
• 公共事业
• 零售业
• 查看全部

跨行业解决方案

• AI代理
• AI治理
• 网络安全
• 营销

数据迁移

专业服务

解决方案加速器

资源

文档中心

客户支持

社区

学习中心

• 培训
• 认证
• 免费版
• 高校联盟
• Databricks学院登录

活动

• 数据+AI峰会
• 数据+AI全球巡演
• AI主题日
• 活动日历

博客与播客

• Databricks博客
• AI博客
• 数据酿造播客
• 数据与AI冠军播客

资源

文档中心

客户支持

社区

学习中心

• 培训
• 认证
• 免费版
• 高校联盟
• Databricks学院登录

活动

• 数据+AI峰会
• 数据+AI全球巡演
• AI主题日
• 活动日历

博客与播客

• Databricks博客
• AI博客
• 数据酿造播客
• 数据与AI冠军播客

关于我们

公司

• 企业简介
• 管理团队
• Databricks创投
• 联系我们

职业发展

• 职位空缺
• 工作环境

新闻中心

• 奖项与荣誉
• 新闻动态

安全与信任

关于我们

公司

• 企业简介
• 管理团队
• Databricks创投
• 联系我们

职业发展

• 职位空缺
• 工作环境

新闻中心

• 奖项与荣誉
• 新闻动态

安全与信任

Databricks Inc.

160 Spear Street, 15th Floor San Francisco, CA 94105 1-866-330-0121

• [](https://www.linkedin.com/company/databricks)
• [](https://www.facebook.com/pages/Databricks/560203607379694)
• [](https://twitter.com/databricks)
• [](https://www.databricks.com/feed)
• [](https://www.glassdoor.com/Overview/Working-at-Databricks-EI_IE954734.11,21.htm)
• [](https://www.youtube.com/@Databricks)

查看职位 在 Databricks

• [](https://www.linkedin.com/company/databricks)
• [](https://www.facebook.com/pages/Databricks/560203607379694)
• [](https://twitter.com/databricks)
• [](https://www.databricks.com/feed)
• [](https://www.glassdoor.com/Overview/Working-at-Databricks-EI_IE954734.11,21.htm)
• [](https://www.youtube.com/@Databricks)

© Databricks 2026。保留所有权利。Apache、Apache Spark、Spark、Spark 徽标、Apache Iceberg、Iceberg 以及 Apache Iceberg 徽标均为 Apache Software Foundation 的商标。

• 隐私声明
• |使用条款
• |现代奴役声明
• |加州隐私
• |您的隐私选择
• 

我们重视您的隐私

Databricks 使用 Cookie 和类似技术来优化网站导航、分析网站使用情况、个性化内容和广告，更多详情请参见我们的 Cookie 声明。如需禁用非必要 Cookie，请点击"拒绝全部"。您也可通过点击"管理偏好设置"调整 Cookie 配置。

管理偏好设置 拒绝全部 接受全部

隐私偏好设置中心

遵循退出偏好信号

隐私偏好设置中心

• ### 您的隐私
• ### 严格必要型 Cookie
• ### 性能型 Cookie
• ### 功能型 Cookie
• ### 定向型 Cookie
• ### TOTHR

#### 您的隐私

当您访问任何网站时，网站可能会在您的浏览器中存储或检索信息（通常以 Cookie 形式）。这些信息可能与您本人、您的偏好或设备相关，主要用于确保网站按预期运行。这些信息通常不会直接识别您的身份，但能为您提供更个性化的网络体验。基于对您隐私权的尊重，您可选择禁用某些类型的 Cookie。点击不同分类标题可了解更多详情并更改默认设置。但请注意，阻止某些 Cookie 类型可能会影响您的网站体验及我们可提供的服务。

#### 退出销售、共享和定向广告

根据您所在地区，您可能有权拒绝个人信息的"销售"或"共享"，或拒绝将个人信息用于在线"定向广告"。您可通过在此处禁用可选 Cookie 来基于 Cookie 和类似标识符退出。若需基于其他标识符（如邮箱地址）退出，请在我们的隐私请求中心提交申请。

了解更多

#### 严格必要型 Cookie

始终启用

这些 Cookie 是网站正常运行所必需的，无法在我们的系统中关闭。它们支持设置隐私偏好、登录或填写表单等核心网站功能。您可在浏览器中设置拦截或提醒此类 Cookie，但可能导致部分网站功能失效。

#### 性能型 Cookie

• [x] 性能型 Cookie

这些 Cookie 用于统计访问量和流量来源，以便我们衡量和改进网站性能。它们帮助我们了解最受欢迎和最不受欢迎的页面，并观察用户在网站内的浏览路径。

#### 功能型 Cookie

• [x] 功能型 Cookie

这些 Cookie 可为网站提供增强功能和个性化服务，可能由我方或我们页面集成的第三方服务商设置。若您不允许这些 Cookie，部分或全部相关服务可能无法正常运行。

#### 定向型 Cookie

• [x] 定向型 Cookie

这些 Cookie 可能由我们的广告合作伙伴通过网站设置，用于构建您的兴趣画像并在其他网站展示相关广告。若您不允许这些 Cookie，您将接收到更少定向广告。

#### TOTHR

• [x] TOTHR

Cookie 列表

同意 合法利益

• [x] 复选框标签 标签

• [x] 复选框标签 标签

• [x] 复选框标签 标签

清除

• - [x] 复选框标签 标签

应用 取消

确认我的选择 允许全部