Reducing the noise: How Atlassian built an OCSF security lakehouse on Databricks

减少噪音：Atlassian如何在Databricks上构建基于OCSF的安全湖仓 | Databricks博客

跳至主要内容

网络安全

2026年10月15日

减少噪音：Atlassian如何在Databricks上构建基于OCSF的安全湖仓

面对每天440亿个事件，Atlassian采用开放网络安全架构框架（OCSF）统一安全日志，并在Databricks上构建了自助式安全湖仓——降低数据摄入成本，支持500多个威胁检测信号。

作者：Taylor Kain、Zachary Schmerber（Atlassian）和Niels Heijmans（Atlassian）

摘要

• 在OCSF上统一安全遥测后，数据摄入成本降低80%
• 基于单一统一架构运行500多个生产级威胁检测信号
• 分析师生产力提升60%——跨所有工具的标准化流程
• 使用OCSF结构后查询速度提升达95%（从约45秒降至2-3秒）
• 每天440亿个事件被规范化到通用架构
• 获得Databricks 2026转型奖

挑战：二十年来全球规模的日志噪音

作为服务35万客户的全球SaaS提供商，Atlassian是20年增长和多次收购的产物，每次收购都带来了独特的日志格式。结果是安全数据管道每天处理440亿个事件，但各类日志源之间没有通用语言。

"Atlassian高级安全日志工程师、OCSF架构维护者Zachary Schmerber解释道：'你面对着各种时间戳、专有架构，以及任何试图组织和结构化这些信息的人面临的运营负担。' 分析师在数据落地后需要耗费大量时间进行规范化，由于数据分散在不同位置且形态各异，跨平台关联受到限制，SIEM流水线也难以跟上节奏。

团队需要一种方法，将碎片化的遥测数据汇聚到统一位置并进行解析，同时保持灵活性并避免供应商锁定。

解决方案：安全湖仓上的开放架构

Atlassian的解决方案是采用开放网络安全架构框架（OCSF）统一所有数据，并在Databricks上构建湖仓。

OCSF之所以被选中，是因为它是团队唯一认为完全开放的选项。与ECS或UDM等替代方案相比，它提供了强类型架构和稳健的验证机制，转换后能最大限度减少歧义，具备良好的压缩效率、可扩展性，以及开源社区支持（由Linux基金会背书并具备国际化标准路径）。其约4万个字段起初看似令人望而生畏——但这种冗长性反而成为平台的最大优势，因为语义上下文始终保留在数据中。

Schmerber表示："由于数据结构化，单一查询可以触及多个数据源。例如，系统中可能有五个漏洞扫描器，现在你只需要处理一个数据集。"

Databricks是天然的平台选择。原生的ACID事务使跨架构版本迁移变得简单，不会影响下游消费者；自动扩展的Spark集群可处理共享的高负载任务；平台本身设计用于管理大型多团队组织的基础设施开销。Atlassian有意选择ETL而非ELT——在数据传输过程中进行转换——以实现实时检测、保持供应商独立性，并在数据流经管道时进行压缩。

表优化带来了显著的性能提升。通过结构化OCSF数据，分区和Z-ORDER将代表性查询时间从约45秒缩短至2-3秒——性能提升达95%，类似规模的查询也实现了相近的优化效果。启用Graviton集群与Photon技术后，查询成本和运行时间减少了约三分之二。

类型安全：将模式嵌入代码

一个关键的工程决策是将完整的OCSF模式嵌入Go结构体——团队称之为"TypeGo"。由于模式存在于类型系统中，正确性在编译时即可得到保证。

"每次生成新的OCSF日志时，都会预先验证——因为它们只能是OCSF格式，"Schmerber表示。嵌套对象原生支持，部署可在任何环境运行，所有内容都经过单元测试。关键的是，这种类型安全性也有效控制了AI：当团队使用代理工作流实现自动化转换时，严格的模式显著减少了幻觉现象，降低了token使用量，因为代理无法生成无效映射或陷入不良迭代。

从"映射即服务"到自助服务平台

最大的转变体现在运营层面。Atlassian安全数据工程团队最初采用六阶段手动流程收集日志，将其转换为TypeGo格式，然后进行路由、测试、配置并通过PR发送。随着时间推移，他们几乎完全自动化了这一流程——最终将其作为自助服务平台交还给客户。

现在分析师只需选择所需日志并提供规范数据集即可。经过受控确认后，工作流会扫描Go结构体内的框架，生成映射和DAG，本地测试后通过PR部署金丝雀配置，在金丝雀环境中进行大规模验证——经过充分测试后升级至生产环境并通知用户任何错误。生产前的所有操作都通过回归测试验证。

工具链包含模式映射IDE和开源Go OCSF库，具备验证性能优化、未映射字段自动处理、模式辅助工具（IP路径、标准化）和智能路由功能。带来的效益是显著降低入职成本："现在我可以让SOC分析师在生产环境中完成首席数据工程师的工作，"Schmerber表示——所有变更仍需经过审核。

效率提升显著："我花了一年时间才映射了今天已映射数据的三分之一，"Schmerber指出，"而剩下的三分之二只用了两个月。"

更好的检测：从一对一警报到信号检测

对于检测和响应团队而言，标准化改变了警报的编写方式。"采用OCSF模式使我们能够通过从一对一警报转向基于信号和风险的检测方法，将多个信号发现聚类到单一警报中，"Atlassian检测与响应团队的Jordan表示。

使用名为Alert Explorer的定制工具，发现结果会围绕标准化OCSF值聚类——例如，无论出现在认证事件还是网络事件中，actor.user值都保持一致。这种一致性使团队能够标准化聚类、丰富和分类操作：不再针对每个检测进行丰富处理，而是每次调用标准化用户名值的丰富API。

"OCSF 使编写检测和提供更具意义、可操作的警报变得容易得多，"Jordan 表示，"分析师可以深入分析数据，无论数据来自何处。"

影响

除了 headline 的成本和性能数字外，标准化还解锁了之前不切实际的能力：具有强大实体解析能力的多领域关联、高效的用户行为分析以及跨应用模式分析。当所有系统使用统一语言时，团队可以编写简单的查询语句，同时监测五个不同路由器——或五个漏洞扫描器——的异常行为。由于 OCSF 类别共享对象，仪表板得到极大简化，存储也得到优化，因为团队清楚哪些数据需要保留，哪些数据可以丢弃。

下一步：与数据对话

Schmerber 最兴奋的是语义丰富的模式对 AI 带来的变革。"如果没有上下文，你的代理如何与数据对话？它会产生幻觉并给出错误答案，"他表示。由于 OCSF 在模式中内置了定义，代理辅助功能的准确性大幅提升。

路线图包括将分析师的实际现场使用转化为可复用代理技能的技能培训、能够基于正确上下文执行威胁狩猎的代理编排、可回答"在这个模式中我的 DNS C2 流量在哪里？"等问题的上下文 SQL，以及基于 OCSF 构建的上下文图谱。长期目标是语义层面的：让 OCSF 成为所有数据发射的规范起点——而不是事后从数据中归纳出的模型。团队还将继续通过采用 Liquid Clustering 技术改进查询性能，实现跨企业设备和云环境的数据分区。

订阅最新文章

订阅我们的博客，获取最新文章直接发送到您的邮箱。

立即订阅

查看所有博客

slice-start id="_gatsby-scripts-1"

slice-end id="_gatsby-scripts-1"