Unify your productivity and AI data with Lakeflow Connect

使用 Lakeflow Connect 统一生产力与 AI 数据 | Databricks 博客

跳至主要内容

平台

2026 年 10 月 26 日

使用 Lakeflow Connect 统一生产力与 AI 数据

通过 Lakeflow Connect 将文档、工单、电子邮件和 AI 工具整合到统一的治理基础中，为 AI 代理和 Genie 分析提供支持

作者：Sonia Bendre 和 Giselle Goicochea

摘要

• 生产力和协作工具中包含着企业最有价值的知识，但这些数据历来分散在数十个独立的应用程序中，每个数据源都需要自定义 API 集成。

• Lakeflow Connect 提供原生的全托管连接器，支持 Atlassian（Jira、Confluence）、Microsoft（SharePoint）、Google Workspace（Drive、Outlook、Gmail）、GitHub 以及主要 AI 提供商（OpenAI、Anthropic），实现统一治理且无需管理任何基础设施。

• 由于结构化和非结构化数据可直接进入 Unity Catalog，数据团队可以轻松构建企业知识库、AI 代理和开发者生产力仪表板，无需构建或维护自定义数据管道。

这是我们的系列文章中关于 Lakeflow Connect 如何为每个业务线提供全托管数据摄入的第二篇。继我们深入探讨统一营销数据之后，本文将重点介绍如何释放组织生产力堆栈中被锁定的企业知识。我们将探讨维基、项目管理工具和 AI 基础模型的原生连接器如何为下游 AI 代理提供完整的业务上下文。

一个平台，任意数据源

Lakeflow Connect 提供全面的原生连接器套件，覆盖 SaaS 应用、数据库和文件源，可将数据直接摄入 Databricks 平台。每个连接器均可通过点击式 UI 或简单 API 配置。从那里开始，您的数据将以受控方式以增量方式摄入到 Unity Catalog 中，无需您进行任何基础设施的部署、管理或扩展。

根据客户需求优先级，Lakeflow Connect 的摄入连接器覆盖所有业务线，包括客户 360、运营、财务和生产力——最贴近日常工作的技术栈。

一个平台，所有生产力工具

平均而言，公司的生产力技术栈由项目跟踪器、维基、文档存储、收件箱和 AI 工具组成，每个工具只记录了工作完成方式的一小部分。获取这些数据历来需要自定义管道的拼凑组合，这些管道构建缓慢且维护困难。门槛如此之高，以至于最具影响力的用例难以实现，例如：由企业内部知识驱动的 AI 代理或运营分析的可见性。

Lakeflow Connect 通过提供内置连接器，从生产力技术栈无缝摄入数据，解决了这一问题：

• 协作：工作是如何被跟踪和交付的？Jira、Monday.com、Smartsheet、Aha! 和 GitHub

• 企业知识：公司依赖哪些集体专业知识？Confluence、Notion、Glean、SharePoint 和 Google Drive

• 电子邮件：团队如何沟通？Outlook 和 Gmail

• AI：组织如何采用 AI？OpenAI 和 Anthropic

凭借如此广泛的连接器，Lakeflow Connect 成为了将分散的生产力数据整合到统一治理基础中的摄入引擎，消除了传统上减缓团队效率的集成瓶颈。

例如，丰田汽车金融澳大利亚公司（Toyota Finance Australia），作为全球最大的汽车制造商之一的融资部门，使用 Lakeflow Connect 将其 Jira 数据导入 Databricks，构建了一个全托管、零维护的数据管道。

“Lakeflow Connect for Jira 彻底改变了我们如何在企业数据管理平台中导入和使用 Jira 数据。迁移到 Databricks 提供的全托管、基于 UI 的体验后，我们获得了一个无缝且零维护的管道，能够自动处理 API 复杂性与模式变更，同时以最小的投入和最高的可靠性，在 Databricks Lakehouse 中生成受管控的、可用于分析的 Delta 表。” ——丰田汽车金融澳大利亚有限公司数据办公室负责人 Charbel Khoury

另一家客户 VaxCare 是一家疫苗管理公司，运营着美国最大的初级护理疫苗接种网络，他们使用 Lakeflow Connect 的 Confluence 连接器，将内部知识库数据导入 Databricks，并以此为基础构建 AI 代理。

“Lakeflow Connect 的 Confluence 连接器为我们提供了一种无缝的方式，将内部知识库数据导入 Databricks，使这些数据能够被聊天机器人实时搜索和使用，并为未来构建的 AI 解决方案做好准备。” ——VaxCare 优化与 AI 副总裁 Yasaman Malone

非结构化内容，开箱即用支持 AI

AI 代理能够直接从企业集体知识中提供即时、有依据的答案，无需员工在维基、云盘和收件箱中搜索。但代理的效果取决于其背后的数据质量，而这些数据大多是非结构化的。使用 Lakeflow Connect，这并非问题；我们的连接器可以将非结构化内容（如文件、页面和消息）作为受管控的表格存入 Unity Catalog。具体数据形式和内容格式因数据源而异：

• SharePoint：SharePoint 连接器会导入非结构化文件本身（PDF、Word 文档、幻灯片和图片）。每个非结构化文件作为一行数据存储，其原始字节存储在内容列中（类型为 BINARY 或 FILE），同时每份文件的元数据也一并保存。结构化文件（如 Excel 文件、CSV 等）也可以直接作为 Delta 表导入。

• Google Drive：Google Drive 连接器对非结构化文件的处理方式相同，每个文档的原始字节作为一行数据存储在内容列中。结构化文件（如 Google Sheets、CSV 等）也可以直接作为 Delta 表导入。

• Confluence：Confluence 连接器会将每一页和每篇博客文章的内容以 STRUCT 类型存储在 pages 和 blogposts 表的 body 字段中。

• Outlook：Outlook 连接器将电子邮件正文以文本字符串形式（HTML 或纯文本）存储在 full_body_content 列中，并将附件以 BINARY 类型存储在 attachments 列中。这些数据均存储在 email_messages 表中。

• Gmail：Gmail 连接器将完整邮件正文作为文本字符串存储在 messages 表中，并将每个附件的引用作为 attachmentId 存储。

• GitHub：GitHub 连接器将仓库中的文本文件（源代码、Markdown 和配置文件）存储在 repo_contents 表的 content 列中。

无论数据来源如何，内容都会以受管控的表格形式存储在 Unity Catalog 中，您可以开始将其转换为下游 AI 用例。例如：

• 来自 Confluence 页面、电子邮件正文和 GitHub 源文件的文本在经过简单清理后即可进行分块和嵌入处理。

• 另一方面，以原始字节形式到达的文档文件（如来自SharePoint和Google Drive的文件，或Outlook的附件），会首先通过Databricks内置的文档智能ai_parse_document转换为文本。

无论采用哪种方式，最终都会得到可进行索引检索并用于代理的文本。若想深入了解文档处理，可观看按需回放的Lakeflow智能文档处理专题；如需了解如何入门，请阅读下游RAG指南。

M3 Accounting作为领先的酒店业软件提供商，使用Lakeflow Connect的GitHub和SharePoint连接器，将工程和产品文档统一整合至Databricks。

“我们几分钟内就部署了Lakeflow Connect的GitHub连接器。它通过自动将GitHub数据与其它工程运营数据融合，每周为我们节省约一小时，使我们能够基于完整的开发者活动视图采取行动。我们将Lakeflow Connect的SharePoint连接器指向产品文档库后，一周内内部知识助手就开始从实时更新的内容中提取信息。无需自定义爬虫，无需文件同步脚本，只需一个连接器和一个管道。” ——M3 Accounting数据与AI副总裁Ross Serven

通过Lakeflow Connect管控AI支出

随着AI代理和生成式工具在团队中普及，围绕驱动这些工具的模型也产生了诸多问题：我们在AI上花费了什么？谁在使用什么？是否合规？为解答这些问题，Lakeflow Connect提供主流基础模型供应商的连接器：

• OpenAI：OpenAI连接器可引入使用情况、成本、API密钥、项目、用户和审计日志，使您能按团队归因AI支出并追踪采用情况。

• Anthropic：Anthropic连接器可引入审计日志、组织用户和角色，以及claude.ai对话和消息内容，使您能管控工具的使用方式。

具体而言，这使您能在组织内获得AI使用和采用趋势的统一视图，从而向利益相关者衡量和报告AI投资的ROI。

构建完整的Atlassian数据视图

Lakeflow Connect对生态系统覆盖的深度还延伸至Atlassian——这是工程和产品团队最广泛使用的套件之一：

• Jira：Jira连接器可引入问题、评论、冲刺、看板和自定义字段，使您能追踪交付并跨项目构建仪表板。

• Confluence：Confluence连接器可引入页面和博客文章的全文，以及其空间、标签和附件，使团队的书面知识可直接用于搜索和分析。

通过这两个连接器，您可以并排查看完整的Atlassian数据视图，包括围绕交付和文档的所有信息。从此处您可以追踪项目中的发布、瓶颈和解决时间，还可以构建AI/BI仪表板，并通过自然语言向Genie询问任何相关内容。

例如，全球数字安全领域领导者Digicert使用Lakeflow Connect的Confluence连接器，可靠地为其内部AI知识助手提供支持，而无需自定义管道的额外开销。

"Lakeflow Connect 的 Confluence 连接器在保持 Databricks 中知识助手与最新文档持续同步方面发挥了巨大作用。它为我们提供了一种简单可靠的方式，将 Confluence 数据引入 Databricks，而无需构建和维护自定义管道的额外负担。这对我们的产品机器人尤其有价值，帮助它们保持最新状态，并为团队提供准确、及时的知识。" ——DigiCert 数据工程高级总监 Nikita Raje

另一家客户 Orizon（一家巴西医疗科技公司）使用 Lakeflow Connect 的 Jira 连接器为其领导团队仪表板提供数据支持。

"通过 Lakeflow Connect 的 Jira 连接器，我们成功将 168 个项目中超过 100 万张工单同步到 Databricks，每日同步成功率 100%。基于这些数据，我们构建了 AI/BI 仪表板，可自动为管理委员会的驾驶舱提供数据支持。Genie 起了关键作用：我们用自然语言提问，它能立即给出答案。" ——Orizon 数据工程经理 Gustavo Lima

如需 Jira 连接器的逐步设置和调优指南，请参阅《统一工程数据：Jira 数据摄入最佳实践》。

一个统一基础，应对所有分析或 AI 问题

由于每个连接器都会将数据作为受管 Delta 表存储在 Unity Catalog 中，您摄入的生产力和 AI 数据将成为与企业其他数据统一的基础。从这里开始，您可以直接在 Databricks SQL 中查询这些数据，与其他数据源结合使用，通过 Genie One 用自然语言提问，同时使用 Agent Bricks 构建的代理也能基于当前企业知识进行推理。

由于治理、血缘关系和访问控制均来自 Unity Catalog，无论数据最初来自哪个团队或工具，访问权限始终保持一致。

TRegs（一家专注于资金管理、风险和监管报告的金融科技平台）已经在该基础上构建应用。

"我们需要在一个地方查看所有成本和预测。通过 Lakeflow Connect 将 Monday.com 和 QuickBooks 数据引入 Databricks 后，我们现在可以利用 Genie AI/BI 仪表板获取当前和预测支出的完整 360 度视图，这让我们的工作变得异常轻松。" ——TRegs 首席执行官兼 CTO Smriti Raj

Lakeflow Connect 正在积极向所有业务线推出新的连接器，未来将支持更多连接器！立即免费试用 Lakeflow Connect。

关注本系列博客的下一篇文章，继续学习如何将所有企业数据引入 Databricks，并为 AI 代理提供所需的完整上下文。

相关标签：

Lakeflow

订阅获取最新文章

订阅我们的博客，最新文章将直接发送到您的邮箱。

立即订阅

查看所有博客

slice-start id="_gatsby-scripts-1"

slice-end id="_gatsby-scripts-1"