Research into how AI can help users understand skin conditions

关于AI如何帮助用户理解皮肤状况的研究

2026年6月12日

Rory Sayres 和 Yun Liu，Google Research 研究科学家

我们介绍了近期发表的研究成果，探讨皮肤科AI工具如何帮助普通人在面对自身皮肤相关问题时获得帮助。

快速链接

• 论文 1

• 论文 2

• 分享 复制链接 ×

超过一半的成年人会使用互联网获取健康信息，其中三分之一的人会借助人工智能（AI）。然而，获取信息并不意味着能够轻松理解或正确解读。简而言之，AI在健康信息方面的人类因素仍需进一步研究，以帮助人们更好地利用健康信息。

这一点在皮肤科领域（皮肤、头发、指甲；以下简称“皮肤”）尤为重要，因为人们在寻找与自身皮肤问题相关的信息时常常遇到困难。例如，你可能注意到“腿部上的红点”，但缺乏相关背景知识，无法具体搜索“可触及性紫癜”。

多年来，我们在这一领域构建了坚实的技术基础，包括开发用于辅助鉴别诊断的AI模型、验证模型的泛化能力，以及发布如SCIN这样的数据集，以帮助临床医生和研究人员。然而，只有通过提供高质量的信息来支持有皮肤问题的人做出决策，才能实现最大的影响。

要做到这一点，理解人类如何与AI互动以辅助其决策至关重要。之前对非AI工具的研究表明，尽管人们可能通过互联网更好地识别某种状况，但他们并不一定在决定下一步该怎么做方面有所提高。我们需要确保随着AI工具的出现，我们仔细研究并改进人类因素，以支持人们做出更好的决策。

鉴于上述原因，今天我们将分享一些我们近期和过去关于消费者对皮肤科相关AI工具理解的研究。这些研究包括一项近期的大规模定量研究，该研究表明在AI辅助下，人们命名疾病的能力有所提高，并在确定下一步行动方面也有所改善。此外，还包括一项深入的混合方法研究，探讨人们如何使用这些工具来解决自己的皮肤问题，以及他们从这些工具中获得的理解与与医生交谈所获得的理解之间的比较。

大规模评估消费者理解

在本周发表于《JAMA Dermatology》的论文《使用AI驱动的信息工具对皮肤状况的消费者理解》中，我们研究了结构化的AI辅助如何改变用户识别疾病和确定下一步行动的能力。我们向2,345名调查参与者展示了回顾性、去标识化的皮肤状况案例——包括图像和结构化的病史，并要求他们想象这些案例是他们自己的。

根据图像宽度确定适当的宽度

对于移动图像，使用默认宽度

参与者看到的AI界面截图（特别为本研究调查平台创建）。他们被呈现一个案例描述（A），并提供一个可滚动的AI预测轮播（B）。如果他们点击某个疾病，他们将获得有关该疾病详细信息（C）。

参与者被随机分配到三个组中进行案例研究：

• (负向)对照组：参与者使用他们熟悉的现有工具，例如标准的基于文本的网络搜索。

• AI：参与者使用了一个原型AI（上方图中为用户界面），该AI基于AI模型的预测，提供一个可滚动的轮播图，显示3到7个匹配的条件，包括教科书图片和关于症状及治疗的详细信息。

• “奥兹巫师”（正向对照组）：参与者使用相同的AI界面，但预测的条件实际上是皮肤科医生小组提供的“真实情况”差异，模拟一个始终匹配真实情况的AI。

研究设计包括三个组别，涵盖具有AI访问权限的负向对照组，以及具有“完美预测”匹配真实情况的正向对照组（奥兹巫师）。

我们发现，AI辅助显著提高了消费者对病情的理解。使用AI工具时，参与者更愿意尝试命名所显示的疾病（超过62%）相比使用标准搜索工具的对照组（41%）。

更重要的是，参与者对疾病名称的猜测准确性显著提高。AI组的准确性几乎是无辅助对照组的三倍（23% vs 8%）。在“奥兹巫师”组中，准确性提高了四倍（36%），但仍然远未达到完美。拥有显示匹配条件的AI“卡片”也显著提高了参与者对其疾病猜测的信心，并对其搜索结果和搜索时间的整体满意度更高。

主要结果总结。星号表示具有统计显著性的差异。*（一个星号）：p < 0.05；（两个星号）：p < 0.01；*（三个星号）：p < 0.001。疾病名称准确性要求参与者既愿意猜测疾病名称，又必须命名一个与皮肤科医生诊断相匹配的疾病名称（允许自由文本名称的变化）。

确定下一步的挑战

为了避免过于规定性，我们研究中的AI被设计为专注于将图像匹配到可能的疾病，并依赖用户来解释应该采取什么行动。我们的目标是让用户能够高效地搜索，而不是规定或诊断。此外，提供的治疗和信息由皮肤科医生编写，他们可以访问权威来源，这些信息仅基于疾病名称，而不是针对该情况中疾病严重程度的具体调整。

也许正因为提供的信息比较一般，决定适当的下一步医疗措施，如使用家庭疗法还是安排紧急诊所就诊，对用户来说仍然具有挑战性。我们的研究发现，虽然“奥兹巫师”组的下一步准确性略有提高（63.5% vs 对照组的60%），但标准AI组并未显示出统计学上的显著改善。此外，AI组的参与者比对照组的参与者稍微更有可能建议一个不如皮肤科医生建议的紧急的下一步措施（30% vs 27%）。

这强化了仅仅识别疾病并不总是足够的观点。在设计工具以更好地向普通民众提供最安全和最合适的下一步措施方面，仍有进步空间。

与社区互动以获得更丰富的反馈

虽然大规模的调查研究对于理解总体趋势非常有价值，但我们也认识到需要了解人们在信息直接与其自身关切相关时，是如何解读信息的，而不是去解读他人状况的图片。为了获得更丰富、更细致的反馈，我们直接从最可能从这些工具中受益的社区中寻求深入的、定性的见解。

在去年发表于 ACM 计算机-人交互（CHI）会议的论文《以用户为中心：在多元社区中使用 AI 导航皮肤问题的皮肤病学应用研究》中，我们与斯坦福大学医疗人工智能应用研究团队（HEA3RT）以及圣克拉拉家庭健康计划（SCFHP）合作。SCFHP 为周边社区的成员提供服务，其中许多人依赖医疗安全网 Medi-Cal。我们的目标是研究具有活跃皮肤问题的多样化、已同意参与的用户在现实环境中如何实际使用并回应来自皮肤 AI 系统的信息。

关键的是，我们希望确保我们是为这个社区而构建；由于参与者使用四种主要语言，AI 应用程序被翻译成他们各自的语言。同时，还有精通相应语言的志愿者或工作人员在场，以促进沟通。

研究应用的截图，以四种不同语言展示。

在这项现实世界的研究中，110 名已同意参与的用户使用了该应用（并在使用后立即与临床医生进行咨询，以澄清任何疑虑）。与上面的调查研究类似，使用该应用提高了这些参与者命名其状况的能力（增加了 260%，尽管总体正确猜测率较低）。参与者高度依赖于将教科书图片与自身状况进行视觉匹配，这突显了提供涵盖多种肤色、病情严重程度和身体部位的图片的重要性，以帮助他们进行“模式匹配”。

研究中的临床医生认为，该应用的预测结果总体上（86%）与他们自己的病情评估一致。由于参与者可以在临床医生咨询期间打开该应用，临床医生还能够将其作为讨论的共同参考点，从而促进患者与医生之间的交流。临床医生中有 92% 的人认为该应用是一个有用的工具。

结论

我们上面的研究重点是使用基于图像的 AI 来帮助具有不同背景的个人更好地理解皮肤状况。可能的改进建议包括提供更多的“教科书”示例，以指导用户理解与模式匹配，并包括更具体针对实际用户查询的可操作信息（而不是针对病情本身）。此外，我们使用基于图像相似性工具的研究表明，普通用户更倾向于使用图像和文本（即多模态）方法来搜索基于 AI 的皮肤状况信息，而不是单独使用图像或文本。

当我们综合所有这些研究来看，皮肤状况信息搜索的未来图景逐渐显现。提供一个视觉起点可以降低进入门槛，而更加个性化的 AI 指导可能有助于导航复杂的医疗信息。然而，构建高度有效的工具需要持续的、以用户为中心的研究，以确保每个人都能有效解读这些信息，从而支持他们的医疗旅程。

致谢

我们感谢 Elyse Bagley、Trevor Crowell、Bhavna Daryani、Huy Doan、Morgan Du、Madison Elliott、Bea Erickson、Mat Fleck、Zoe Gan、Tammi Huynh、Yetunde Ibitoye、Yejin Jeong、Sergio Marquez、Jay Nayar、Kira Nguyen、Trang Nguyen、Javier Perez、Carola Ponce、Uriel Rivera、Sunny Virmani、Renee Wong 和 Allan Ysunza 对混合方法研究执行的贡献；同时感谢 Michael Howell、Naama Hammel、Rajeev Rikhye、Abi Jones 和 Dave Steiner 对论文提出的宝贵意见。

标签：

• 健康与生物科学

• 人机交互与可视化

其他相关文章

• 2026年6月4日 通过智能手机摄像头实现被动心脏健康监测 健康与生物科学 · 人机交互与可视化 · 机器智能

• 2026年5月1日 通过全球合作伙伴关系和开放资源推动科学影响 数据挖掘与建模 · 一般科学 · 健康与生物科学 · 开源模型与数据集

• 2026年4月16日 人工智能生成的合成神经元加速大脑映射 一般科学 · 健康与生物科学 · 机器智能

×

❮

❯