Biomedical Imaging's Real Bottleneck Is the Data, Not the Model

生物医学影像的真实瓶颈是数据，而非模型 | Databricks 博客

跳至主要内容

解决方案

2026年10月8日

生物医学影像的真实瓶颈是数据，而非模型

从 PACS 系统孤岛到多组学数据：为何影像 AI 在数据层面受阻，以及如何构建释放其潜力的数据基础。

作者：Parastou Eslami 和 Douglas Moore

摘要

• 问题本质：从医院、学术界、医疗科技公司到制药企业，医疗影像 AI 在各领域表现欠佳的领域视角；在研发环节，一个更坚实的数据基础应具备的特征。

• 核心挑战：影像数据是医学领域最丰富的数据类型，但却是最难以利用的：数据被锁定在 PACS 系统、CRO（合同研究组织）和中央实验室中，难以去标识化，且极少与其他数据模态（如生物标志物和患者分层数据）关联。真正的难点在于数据本身，而非模型。

• 关键启示：前沿突破的关键不是更先进的模型，而是支撑模型的数据基础。应在统一平台治理影像数据，使其可查询、实现规模化去标识化，并通过受控数据湖架构将其与电子健康记录（EHR）、组学数据和临床试验数据关联。数据问题解决后，模型开发将变得简单。

第一部分 —— 问题所在

四大领域，同一大瓶颈

医院和医疗系统是原始数据的生成源头。放射学是医疗 AI 领域中最受监管的领域：截至 2024 年中，FDA 已批准的约 950 台 AI/ML 设备中，约 723 台（约 76%）为放射学工具。几乎所有设备都依赖人工监督，用于分诊、测量、图像重建或工作列表优先级排序。在医院中，真正的困难很少是模型本身。数据通常被锁定在 PACS 系统和厂商中立的归档系统中，这些系统的设计目的是向查看器提供图像，而非回答研究问题。提取一个患者群体意味着需要从临床系统中提取图像、进行去标识化（PHI 隐藏在 DICOM 头信息中，并嵌入像素本身），并找到可用的计算资源来使用这些数据。模型开发仅占整个流程的 10%。

学术医疗中心是开放科学的主要发生地。该领域的发展很大程度上归功于共享数据集，如 MIMIC-CXR（包含 377,110 张胸部 X 光片）、癌症影像档案库、fastMRI 和英国生物银行影像模块，以及开源工具如 MONAI、nnU-Net 和 3D Slicer。学术界也暴露了该领域的可信度问题。一项著名的 BMJ 评论（Nagendran 等，2020）对深度学习与临床医生影像研究的对比分析发现，在 81 项研究中，只有少数是前瞻性研究或在真实临床环境中测试的，且 93% 和 95% 的研究分别缺乏代码和数据。这种可重复性债务直接源于影像数据共享和重新运行的难度。

制药和生物技术领域将影像视为测量工具。肿瘤学试验依赖标准化的响应标准（如RECIST、iRECIST和RANO），这些标准需通过中心化和盲法读片消除机构偏倚，定量影像生物标志物甚至能比基于尺寸的测量更早捕捉到药物反应。所有这些方法只有在不同机构、扫描仪和时间的测量结果具有可比性时才有效，这也是RSNA的QIBA制定规范文件、将采集和分析精度明确化的根本原因。变异性是试验终点的头号敌人。

四个不同领域面临同一个瓶颈：像素无处不在，却无法被查询。

图1. 医院、学术界、医疗科技公司和制药企业都面临同样的问题：像素无处不在，却无法被查询。

为什么协作是关键，又为何如此困难

没有任何单个机构拥有足够多样化的数据来构建具有泛化能力的模型。迄今为止最强的协作研究印证了这一点。在EXAM研究（《自然医学》，2021年）中，20个机构在不传输任何患者数据的前提下，通过共享模型从胸部X光片和电子病历数据中预测新冠患者的氧气需求。仅模型权重在机构间传输，联邦学习模型在AUC指标上平均提升16%，在泛化能力上提升38%。其技术原理并不神秘：各机构本地训练模型，协调器通过平均模型权重而非数据（经典的联邦平均方法）整合模型，安全聚合和差分隐私技术确保任何机构的数据都无法从权重中被还原。

这是联邦学习的承诺。但现实是，协作确实困难重重，其障碍源于结构性而非技术性原因：

• 数据异构性：不同的扫描仪、协议和标注规范意味着"相同"的检查往往并非真正相同。除非采用批量归一化平均或机构感知的调和等技术进行刻意工程化处理，否则联邦模型在非独立同分布（non-IID）、采集偏倚的数据上表现会显著下降。

• 隐私与治理：任何跨机构研究都需要各机构的IRB审批、数据使用协议和可辩护的去标识化处理。

• 缺乏通用基座：MIDRC等联盟（由ACR、RSNA和AAPM共同领导）之所以存在，正是因为数据采集、整理、去标识化、标注和共享的复杂性需要国家级的专门努力。

影像领域的协作不是锦上添花，而是构建可跨机构部署模型的唯一路径。而这一路径几乎完全被数据管道和治理问题所阻塞。

外行人永远看不到的复杂性

当人们说"医学影像"时，通常想到的是胸部X光片。但现实是，各种格式和尺度的影像构成了一座动物园，让通用数据工具应接不暇。

| 影像类型 | 格式 | 维度与尺度 | 通用工具为何失效 | |---------|------|------------|------------------| | 放射科影像（X光、CT、MRI） | DICOM（约12种传输语法：非压缩→JPEG 2000→HTJ2K） | 2D X光→3D CT/MRI→4D动态心脏 | 专为设备间传输设计，而非批量分析；解码器（pydicom、GDCM、pylibjpeg）单线程运行——少量影像微不足道，数百万影像则成为分布式系统难题 | | 数字病理（全切片影像） | 厂商格式：Aperio .svs、Hamamatsu .ndpi、Philips iSyntax（通过OpenSlide）；几乎无DICOM | | |

千兆像素——多GB、数万个瓦片，以多种放大倍数作为金字塔读取

太大无法在内存中打开；染色和扫描仪颜色因实验室而异，成为模型误差的独立来源

眼科、皮肤科及其他领域

OCT容积数据、临床摄影，各自有其特定规范

2D和3D，模态专用

JPEG文件夹工具从未设计用于处理这一类格式

"医学影像"并非单一概念——它是一片格式和尺度的丛林。研究存档可达PB级别，大规模去标识化已成为独立的研究方向。

还有一种复杂性会悄无声息地破坏研究：不同机构的数值本身不具备可比性。在两台使用不同协议的扫描仪上测得的标准化摄取值或肿瘤体积并非同一测量结果。这就是定量影像依赖QIBA规范和IBSI影像组学特征定义的原因，也是为什么可重复性而非原始准确性通常是失败的关键。

处理JPEG文件夹的工具无法应对这些挑战，这也是影像数据在成为分析就绪数据时落后于基因组学和EHR数据的重要原因。

影像数据是更大问题的最尖锐边缘

当焦点仅停留在影像数据时，容易忽视的一个事实：这些挑战同样适用于整个研发领域。影像数据只是最先暴露痛点的领域，因为其数据规模最大且最特殊。

走进今天的生物医药研发机构，真正的前沿并非任何单一数据类型。它是多组学数据——基因组学、转录组学、蛋白质组学和代谢组学，每种数据都带着自己的格式和孤岛。它是真实世界数据和临床试验数据、电子健康记录和注册数据、波形数据。它是医学事务和文献数据。真正推动项目进展的问题——哪些患者有反应及原因、影像数据加上分子特征再加上结局数据能共同说明什么——都存在于这些领域之间的连接处，而非任何单一领域内部。

每种数据类型都和影像数据一样面临相同困境。它们都具有丰富性、高维度、大部分非结构化、困在领域专用系统中、难以治理且更难关联。一张全切片影像、一个基因组变异调用、一个试验终点数据，各自都已足够复杂。其价值来自于将它们放在同一句话中。这在成为AI问题之前，首先是一个数据基础问题，而这也是团队最容易低估的挑战。

这不仅是医疗领域的故事。贝恩公司最近对AI预算持续增长但回报未同步提升的原因分析发现，数据访问和集成是AI发展的最大障碍，41%的公司都提到了这一点，领先企业提及频率甚至高于落后企业。他们直言不讳的结论：大多数组织仍无法可靠地访问自己的数据。医学领域只是让这个问题更难以忽视。

第二部分——基础架构

这里开始变得具体且更技术化。对于不构建平台的读者来说，简短版本很简单：在一个地方统一治理所有数据，使像素可查询，实现大规模去标识化，并将影像数据与患者其他信息关联。以下内容将具体说明如何实现。

数据基础架构的实际要求

剥离行业特定细节后，要求是相同的。平台必须：

• 在一个统一的平台上治理非结构化影像文件及其提取的元数据，实现符合监管要求的访问控制、数据血缘和可审计性。

• 无中断处理PB级、十亿像素、多维数据（2D X射线、3D CT/MRI容积、4D动态研究、十亿像素病理切片）。

• 在文件头和像素层面实现大规模去标识化处理。

• 将影像数据与EHR、基因组学、波形和文本数据关联，使单一研究问题可同时触及所有数据源。

• 将跨机构数据共享简化为配置步骤，而非耗时数月的谈判过程。

这就是湖仓一体架构的形态。以下是Databricks平台上实际应用的映射方式。

适用于影像数据的勋章架构

使影像数据可管理的思维模型，与团队处理结构化数据时使用的勋章架构模式相同，只是针对二进制文件进行了调整。

• 青铜层：原始研究数据首先存入受限访问的云对象存储或Volume，其中去标识化作业会在任何其他处理前对文件头和像素进行处理；去标识化后的文件形成Unity目录卷中的受管青铜层，每个文件对应目录中的一行记录，Auto Loader处理增量数据流，使新研究数据持续流入而非依赖脆弱的夜间批量处理。

• 白银层：DICOM标签等文本元数据被提取到Delta表中（像素等二进制数据保留在文件中），使原本封存在文件中的元数据可通过标准SQL查询。这一步将"可被查看器打开"转变为"可被分析师查询"。开源的Pixels加速器正是如此实现，通过并行化文件目录和大规模标签提取。

• 黄金层：经过精炼的、可用于分析的患者群体，已与临床和组学表关联，可直接用于训练、BI或监管研究。

实现这一架构的难点在于吞吐量。DICOM解析库通常仅使用单核；关键在于分布式处理。实际应用中意味着使用pandas UDF和mapInPandas将解析任务分发到集群，或使用自定义Spark数据源。Pixels团队的研究表明，zipdcm数据源可直接从内存中的zip归档读取DICOM元数据，同时保持原始文件压缩存储：在两个8核工作节点上，该方案3.5分钟内完成了107,000个DICOM文件的目录，速度约为之前方法的7倍。瓶颈从磁盘和网络I/O转移到纯CPU解析，这正是集群擅长处理的场景。

图2. Pixels架构：开源的Databricks解决方案加速器

符合审计要求的数据治理

影像数据是终极的非结构化数据治理难题，也是大多数平台容易失败的领域。Unity目录卷在S3、ADLS或GCS中通过三级命名空间治理原始文件，同时提取的元数据存入Delta表。两者均遵循统一的访问控制和血缘模型，可追溯到基于这些数据训练的模型，这使得数月后仍能回答"谁接触过这个患者群体，以及从中构建了什么"。行级/列级安全策略和基于属性的规则，使组织能够广泛暴露去标识化元数据的同时，保持底层像素数据的严格管控。

去标识化是这里真正关键的环节。表头PHI（个人健康信息）通过格式保留加密进行处理，使得相同的患者标识符始终映射到相同的假名。这一细节的重要性远超其表面意义：这意味着患者的CT影像仍可在不同数据集中与他们的病理结果和实验室数据关联，而无需暴露真实标识符。DICOM标准的保密性配置文件定义了需要剥离和保留的内容。更具挑战性的问题是那些嵌入像素中的PHI，例如超声影像或扫描表单中烧录的患者姓名。经典工具如Presidio在处理自由文本方面表现良好，但无法处理图像。去除这些嵌入式PHI目前仍是一个活跃的研究课题：近期研究表明，视觉-语言模型在检测和模糊化此类信息方面已超越纯OCR流水线（Lee等，《放射学》2025），且结合DICOM元数据清理与针对性OCR的生产级去标识化方法已在涵盖十种模态的数十万张图像上得到验证（Macdonald等，2024）。对于像素处理，Pixels团队开发了一种结合OCR与视觉语言模型（VLM）的流水线，并通过Pandas UDF实现分布式计算。在MIDI-B基准的平衡样本测试中，GPT-4o和Claude 3.7 Sonnet实现了约100%的召回率和精确率，开源的Llama 4 Maverick在成本仅为前者几分之一的情况下也达到了100%召回率，而Spark将1000帧的去标识化处理时间从105分钟缩短至6分钟。团队还在探索更轻量的纯VLM方法以进一步优化性能。

在同一受控数据基础上进行训练和部署

一旦像素数据可查询且受控，机器学习层就不再是难题。分割和分类模型会以与MLflow模型相同的方式注册到目录中，其血缘关系可追溯到训练所用的具体队列。针对影像领域，NVIDIA MONAI和VISTA-3D（覆盖127个解剖类别的基础分割模型）用于自动分割和微调，Databricks应用内嵌入OHIF查看器，使放射科医生或病理医生可在平台的安全模型下进行审核、修正和重新标注。

MONAI Label的主动学习循环意味着每次修正都会优化下一批数据，这正是团队摆脱"必须先拥有完整标注数据集才能开始"困境的关键。推理任务既可通过实时GPU模型服务（支持按需扩展，闲置模型不占用GPU资源）执行，也可通过分布式批量推理处理数百万例研究。由于最新的Pixels工作集成了DICOMweb服务（QIDO-RS、WADO-RS、STOW-RS），数据湖屋可直接嵌入临床或PACS/VNA工作流中，而非作为旁路存在。

证明其安全性：验证、漂移与监管路径

模型训练只是起点，而非终点。一个在单一机构扫描仪上表现优异的模型，可能在其他机构的扫描仪上悄然退化。真正的挑战在于跨机构、跨厂商、跨协议的外部验证，以及在扫描仪升级和协议变更时持续监控模型漂移。MLflow负责评估和追踪；更困难的在于将每个模型视为带有其群体、指标和审批记录的版本化资产。对于任何进入临床阶段的模型，监管机构已开始向自适应AI妥协。FDA的预定变更控制计划（PCCP）允许团队预先指定模型重新训练和更新的方式，而无需每次提交新申请；良好的机器学习实践（GMLP）则为数据、验证和监控设定了预期标准。将这些防护机制构建在数据基础中，而非后期添加，这才是能让医院部署的系统，而非仅停留在演示阶段的关键区别。

不移动数据的协作

EXAM证明了跨机构多样性是必要的，实现这一目标有两种互补方式，它们分别解决不同问题。

联邦学习在数据物理位置不变的前提下，仅传输模型权重，通过联邦平均聚合模型，并结合安全聚合和差分隐私技术防止数据泄露。这是在数据法律上完全无法移动时的正确工具。

湖仓架构提供了另一种通常更简单的实践方案：Delta Sharing和Clean Rooms使机构能够在不复制任何数据的情况下共享受控表格和文件（或对去标识化群体进行联合分析），通过凭证分发而非数据导出实现。对于许多多中心研究而言，“共享一个受控群体视图”比搭建联邦训练环要轻量得多，这两种方案也可以混合使用。

实现影像多模态化

这是将影像从独立模态转变为患者数据组成部分的关键要求。由于元数据仅是Delta格式，影像可以与EHR中的FHIR和HL7数据流、基因组变异表、波形数据和临床文本进行关联，患者身份通过伪匿名化层解析。通用数据模型如OMOP为观察性数据提供了共享模式。在此基础上，Vector Search为语义检索建立嵌入索引（Pixels甚至内置了将普通英文术语映射到正确DICOM标签的函数），自然语言工具如Genie使科学家可以通过提问而非编写SQL来构建群体。

生理波形是独特类型的数据。心电图、动脉压力波形、IVUS或OCT拉回影像等是每秒采样数百至数千次的高频时间序列，通常以WFDB而非DICOM格式存储。技术难点在于对齐：拉回帧或心电图波形只有在与图像和所属临床事件时间同步时才有意义。正确实现对齐、重采样、时间戳协调，并将序列与研究数据存储在一起，正是当问题从“患者是否响应”转变为“患者为何响应”时，这种关联能带来价值的关键所在。

嵌入向量还解锁了比搜索更强大的能力。基于配对扫描图像和报告训练的图像-文本模型（如BiomedCLIP和CheXzero系列研究），将图像和语言置于共享的向量空间中，使系统能够检索相似病例、在没有显式标签的情况下标记发现，或让生成模型基于患者的实际图像和既往报告而非仅训练数据进行生成。最后一种模式——结合图像和报告的检索增强生成——正是让报告起草和病例摘要可信到足以展示给临床医生的关键：模型可以指向它看到的内容。这种模式只有在图像、报告和它们的嵌入向量共同存在于一个受控环境中才能实现，而这正是本文所描述的微型版本。

这也是新一代基础模型所需的能力。Prov-GigaPath（Nature, 2024）通过自监督学习在171,189张全切片图像的13亿张切片上进行预训练，只有在数据具备大规模、多样性、受控性和多模态特性时才能发挥作用。数据孤岛无法满足其需求，而数据湖仓可以。

收益：研究人员的共科学家，临床医生的助手

所有这些的具象化版本并非是取代任何人的自主系统，而是一个助手——既是研究人员的AI共科学家，也是临床医生的协作者，其根基是机构自身的受控数据而非开放互联网。

对研究人员而言，共科学家代理能将问题转化为工作。当要求它"找出接受治疗前的非小细胞肺癌患者，其基线CT、病理和EGFR状态匹配，并总结随访期间病灶的变化"时，它会规划步骤，通过Genie空间查询影像和临床表格，使用向量搜索检索相似病例，调用分割端点测量病灶，并在其摘要中引用相关文献，每个主张均可追溯至所用数据。

新兴的"AI共科学家"系统正致力于实现这一目标：帮助生成和筛选假设，而不仅仅是回答查询。玩具与可信协作者的区别在于，后者是否建立在受控的多模态数据之上。

对临床医生而言，同样的系统则成为协助完成放射科或肿瘤科医生手动工作的助手：提取患者既往资料、测量并比较病灶、呈现适用的指南标准，并起草报告供审阅。它从不签署确认，人类医生负责。这并非局限，而是设计使然。目前几乎所有获批的影像AI系统都是由人类监督的，而一个能展示其工作过程并引用来源的助手，正是让这种监督成为实质而非形式主义的关键。

图3. R&D统一基础：影像、多组学、临床和真实世界数据、波形、文献等全部存在于同一数据湖仓中，不同领域间连接的价值终于变得可访问

确保上述功能安全的基础是底层架构。代理调用的每个工具都是受控对象：Unity Catalog函数、模型服务端点、向量搜索索引、Genie空间，因此保护像素数据的访问控制、血缘关系和代表身份也决定了代理能看见和执行的内容。在监督者下组合专家代理——放射科代理、基因组学代理、医学事务代理——代理团队将镜像数据基础已实现的多模态连接。一旦基础架构正确，助手的实现就是简单的事。

超越影像：相同的架构支撑整个研发体系

这之所以在放射学之外具有重要意义，是因为这套架构同样适用于整个研发数据体系。多组学数据（基因组学、转录组学、蛋白质组学、代谢组学）与影像和临床数据一同存储在Unity Catalog中。它带来了自己的复杂格式和标准，如用于变异的VCF、用于比对序列读数的BAM和CRAM、确保互操作性的GA4GH规范，以及用于群体规模分析的Glow和Hail引擎，但湖仓架构的模式是相同的：治理文件、提取可查询层、将其与所有其他数据关联。

这也是NVIDIA栈（如BioNeMo和NIMs）用于序列和结构模型的地方。真实世界数据、临床试验数据、注册数据和波形数据可与影像队列直接关联，无需导出。医学事务和文献在相同治理框架下成为可查询文本，并通过AI/BI和Genie界面呈现。推动项目进展的程序，即回答哪些患者会响应治疗以及原因的程序，存在于这些领域之间的关联中，而湖仓架构是罕见的架构，它能在单一治理模型下整合一张十亿像素的切片、一个变异调用和一个试验终点，并允许它们被联合查询。

结论

基于此类数据构建AI和生成式AI的团队不断遇到相同的教训。一个模型可以在一周内展示良好效果。但随后需要数月时间才能让数据达到足够干净、关联、去标识化和治理的程度，以在科学家或监管机构面前获得信任。数据问题不是项目中不那么光鲜的部分，它本身就是整个项目。

在同一家机构的影像、组学、临床和医学事务数据中，结论是显而易见的。医学影像的前沿不是更好的架构，而是更坚实的基础。算法已经存在。数据也存在于某处。所缺失的是让影像在不牺牲隐私和医学要求的严谨性前提下，实现治理、可查询、可关联、可共享，并与所有研究问题所涉及的其他数据关联的方法。

在研发中获胜的团队不会是率先追逐模型的团队。他们将是率先正确处理数据的团队，让AI随之而来。解决这个问题后，模型就变得简单了，正如它一直应有的那样。

从哪里开始

最快验证方法是使用你自己的数据。

• 从开源的Pixels加速器（databricks-industry-solutions/pixels）开始，将DICOM文件夹转换为受治理的、可查询的Delta表，并观察勋章模式的实际运作。

• 在Databricks上运行。启动一个工作区，将Unity Catalog Volumes指向公开数据集（如TCIA或MIMIC-CXR），在引入受保护数据之前，端到端地实现数据摄入、去标识化和OHIF查看器。

• 深入了解上述链接中提到的数字背后的技术细节：7倍摄入速度、VLM去标识化、MONAI/VISTA-3D的分析报告。

• 从单个队列扩展到整个数据体系。一旦单个研究类型被摄入、去标识化并关联到一张临床表，相同的模式即可扩展到多组学数据、真实世界数据以及上层的智能代理层。

如果你的团队正在Databricks上构建医学影像或多模态研发，作者希望了解你们的实现方式。欢迎联系或留言，当你们准备从试点转向生产环境时，Databricks医疗与生命科学团队将协助你们实现目标。

将最新文章发送到您的邮箱

订阅我们的博客，即可将最新文章发送到您的邮箱。

注册

查看所有博客

slice-start id="_gatsby-scripts-1"

slice-end id="_gatsby-scripts-1"