How Flo Health built safer, more useful open models with Databricks AI Runtime

Flo Health如何使用Databricks AI Runtime构建更安全、更有用的开放模型 | Databricks博客

跳至主要内容

客户

2026年10月12日

Flo Health如何使用Databricks AI Runtime构建更安全、更有用的开放模型

通过在Databricks上使用以隐私为先、由AI裁判驱动的后训练流程，Flo将医疗安全性从34%提升至约61%，有用性从42%提升至76%，综合医疗安全性和有用性评分从16%提升至47%。

作者：Vladislav Nedosekin、András Meczner、Julia Powell、Tejas Sundaresan和Michael Shtelma

摘要

• Flo Health构建了一个专用评估框架，通过与临床医生评审校准，衡量AI响应在医疗安全性和有用性两个维度的表现。
• Flo利用以隐私为先的合成数据和AI裁判，创建了无需人工标注训练对的训练数据，随后通过监督微调和直接偏好优化（DPO）改进开放模型。
• Flo在Databricks AI Runtime上使用32块NVIDIA H100 GPU进行分布式微调，将医疗安全性从34%提升至约61%，有用性从42%提升至76%，综合评分从16%提升至47%。

对Flo Health而言，生成式AI的标准异常严苛。拥有8100万月活跃用户的女性健康应用，其运营规模使得AI系统中任何微小缺陷都可能产生重大影响。由于Flo的产品涉及健康与福祉，响应内容必须具备医学安全性并真正实用。

当Flo从仅使用传统机器学习转向由生成式AI驱动的个性化洞察时，团队看到了打造更灵活、更个性化产品的潜力。但依赖单一通用模型也带来了其他限制：规模化成本、对模型提供商生命周期的依赖，以及难以编码Flo自身的领域专业知识。Flo的长期愿景是构建一个复合AI系统，能够为每个任务选择合适的模型，同时在所有任务中保持一致的安全标准。

这促使Flo转向微调开放模型，并使用Databricks构建新的后训练流程。团队利用AI裁判和以隐私为先的合成数据，将Flo对医疗安全性和有用性的标准转化为训练信号，随后使用Databricks AI Runtime在无服务器NVIDIA H100 GPU上运行分布式微调。

这种方案在Flo的规模上也具有经济优势。团队估计，使用定制化微调模型相比依赖前沿模型API，可将推理成本降低一个数量级，同时赋予Flo对模型行为和生命周期的更大控制权。

但在此之前，Flo需要一种可靠的方式来定义和衡量"优质"的标准。

从评估开始，而非训练

Flo为其AI系统设定了两个目标：医疗安全性作为基础，有用性作为最终目标。一个模型可能避免不安全的陈述，但仍提供有限价值；或给出详细个性化的答案，却遗漏关键的医疗防护措施。

例如，当用户提问"为什么我的月经推迟了？"时，简单建议就医可能安全但不够有用；仅列出常见生活方式原因可能更有帮助，但存在医疗安全方面的遗漏。Flo希望获得能平衡两者的结果：提供有用信息、适当背景和正确的安全防护。

为了使这种平衡可衡量，Flo的医疗、产品和工程团队构建了一个评估框架，将医疗风险分解为可一致测试的具体评分标准。例如，在发现对症状问题的回答可能过于安抚用户后，Flo创建了“平衡原因”规则，要求在相关情况下同时适当覆盖良性原因和潜在严重原因。这些评分标准随后被转化为AI法官，每个法官都有明确的定义、评分说明和训练案例。

Flo通过合成案例和匿名化的真实用户实验案例验证了这些AI法官。当AI法官与初始的人类评估结果不一致时，盲审的临床评审员会裁定分歧以确定事实标准。Flo随后使用部分案例优化法官，其余案例用于衡量性能。

将专家判断转化为可扩展的训练信号

在评估系统就绪后，Flo可以将这些AI法官用作训练的奖励信号。最终框架包含三个类别的26个法官：

• 12个医疗安全法官作为硬性约束条件。
• 6个“微观”法官评估更细致的行为，如语音、立足点、框架设定和细粒度安全。
• 8个有用性标准衡量完整性、相关性、连贯性和语气等因素。

构建传统的人工标注微调数据集需要每个示例都投入大量临床专业知识。Flo将医疗专家的时间集中在设计和校准评估系统上，该系统随后可以大规模对训练候选方案进行评分。

生成的流程基于隐私优先原则，创建了超过15,000个合成问题，并生成了无需人工标注回答的训练对。Flo从模型生成或匿名聚合的信号中提取输入，而非使用用户撰写的自由文本或可识别信息。

临床医生在定义和验证“安全”含义方面仍然至关重要，但他们不再需要手动标注每个训练对。

使用AI法官和偏好优化进行微调

在完成校准的法官和合成训练数据后，Flo采用了强化微调（RTF）方法，该方法在训练过程中生成多个候选回答，利用评估系统筛选出最佳方案，并对模型进行微调，使质量编码到模型权重中，而非依赖每次生产请求时昂贵的最佳N选搜索。

Flo的工作流程分为五个阶段：

• 生成隐私保护问题。
• 生成多个候选答案。
• 根据医疗安全、有用性和行为标准对答案进行评分。
• 选择最佳回答并构建偏好对。
• 使用监督微调和DPO进行训练，然后重新运行法官验证结果。

该方法的首个版本暴露了一个重要限制：虽然有用性有所提升，但医疗安全性基本保持不变，因为偏好对未能充分区分医疗质量的不同程度。

Flo通过添加分级安全评分解决了这一问题。通过二元安全门的回复会根据其满足适用医疗标准的彻底程度重新排序，从而创建具有更清晰医疗安全对比的偏好对。

使用Databricks AI Runtime进行训练后扩展

在大规模运行生成分数选择训练循环时，计算需求非常高。Flo的训练堆栈结合了Databricks AI Runtime、LLM Foundry和Compose-RL，同时使用MLflow进行跟踪和检查点管理。AI Runtime提供了无服务器GPU环境，LLM Foundry负责分布式训练，而Compose-RL则提供了偏好优化层。

在微调运行中，Flo使用了32个NVIDIA H100 GPU，结合PyTorch和全分片数据并行（FSDP），并通过LLM Foundry和Compose-RL依次运行SFT和DPO。

这种设置为工程师提供了按需GPU计算资源，用于分布式深度学习训练，使他们能够从合成数据生成直接过渡到评估和微调，而无需为每次实验手动搭建和配置GPU集群。将相关数据、实验和机器学习工具保持在相同环境中，使团队能够更轻松地在整个训练后工作流程中进行迭代。

Databricks AI Runtime让我们能够在数据所在的位置进行训练，满足大规模模型训练所需的可靠性、安全性和性能。我们可以减少管理GPU基础设施的时间，将更多精力投入到改进模型本身。——Flo Health数据与AI平台工程总监Vladislav Nedosekin

同步提升医疗安全性和实用性

该工作流在Flo关注的两个维度上都实现了可衡量的提升。Flo评估的首个模型在医疗安全基准测试中得分为34%，在实用性方面得分为42%，但只有16%的响应同时满足这两个标准。

微调后，医疗安全性提升至约61%，实用性达到76%，综合得分从16%提升至47%——几乎是初始值的三倍。

使用大型语言模型评委的评估结果

47%的综合得分是一个重要里程碑，但更具持久价值的成果是Flo围绕该指标构建的可复用评估和训练系统。

管道即资产

随着底层模型的演进，Flo可以继续沿用该系统。团队计划将其应用于更新的开源模型，包括Gemma、Qwen和Kimi，同时保留已开发并验证的医疗安全性和实用性标准。

借助Databricks AI Runtime作为支撑，Flo可以在不重建训练环境的情况下对新模型进行迭代，使工程师能够专注于医疗专业知识、模型质量和用户体验。

订阅最新文章

订阅我们的博客，获取最新文章直接发送到您的邮箱。

注册

查看所有博客

slice-start id="_gatsby-scripts-1"

slice-end id="_gatsby-scripts-1"