A 10-year-old CNN outperforms frontier LLMs for skin cancer diagnosis
TL;DR · AI 摘要
十年前的CNN模型在皮肤癌诊断上优于当前前沿的LLM，准确率达62%。
核心要点
- Inception v3在皮肤癌诊断中达到62%准确率，优于LLM的42%。
- 使用MILK10k数据集进行测试，包含200例经病理确认的病变。
- 微调仅需20分钟的CNN模型表现优于前沿LLM。
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- CNN vs LLM皮肤癌诊断
- 模型对比
- Inception v3 (62%) vs LLM (42%)
- 微调时间20分钟
- 测试数据
- MILK10k数据集
- 200例病理确认样本
- 关键发现
- 图像特征提取优势
- LLM文本推理局限性
金句 / Highlights
值得收藏与分享的关键句。
Inception v3准确率62%，LLM准确率仅42%。
微调仅需20分钟的CNN模型表现优于前沿LLM。
LLM误诊率高达58%，CNN误诊率38%。
一个十年历史的CNN在皮肤癌诊断中超越前沿LLM | Lynch Lab
一个十年历史的CNN在皮肤癌诊断中超越前沿LLM
我是一名皮肤科医生。我测试了GPT-6 Astra和Claude Fable 5.1诊断皮肤癌的能力，发现它们的准确性低于我的预期。当我将其与一个十年历史的CNN进行比较时，令我惊讶的是，这个CNN表现更优。
作者：Magnus Lynch 博士 · 2026年10月25日 · 5分钟阅读
这是一个黑色素瘤。
图1. 耳部侵袭性黑色素瘤，厚度小于0.8毫米。两个LLM均诊断为脂溢性角化病，并建议可出院。CNN诊断为黑色素瘤。左图为临床照片，右图为皮肤镜图像。图片来源：MILK10k，MILK研究团队，CC BY-NC。
我向GPT-6 Astra和Claude Fable 5.1展示了这两张图像——一张临床照片和一张皮肤镜图像（皮肤显微镜图像）——这两个是2026年10月最强大的AI模型。两者均诊断为脂溢性角化病（一种无害的疣状生长），并建议患者可出院。随后，我向经过微调的Inception v3卷积神经网络（CNN）展示了这些图像，该网络由Google于2015年首次发布，并在此研究中使用公开的皮肤科图像进行了微调。CNN根据皮肤镜视图得出了正确的诊断。
这是200个经活检证实的病变样本之一，我将其提供给了所有三个模型。CNN在125个样本中（62%）正确识别出诊断（6种可能性中的正确选项），而两个前沿LLM在84和85个样本中（42%）给出了正确诊断。一个经过约20分钟微调的十年历史网络，在识别皮肤癌方面超越了这两个模型。
测试详情 #
这些病变来自MILK10k，这是国际皮肤成像合作组织于2025年发布的公开数据集，其中每个病变均拍摄了两次：一次是临床特写照片，另一次是通过皮肤科医生使用的带光源放大镜拍摄的皮肤镜图像。我随机选择了200个病变，所有病变均经组织病理学确认：
- 100个不应出院的病变：30个黑色素瘤，25个基底细胞癌，25个鳞状细胞癌（包括Bowen病）和20个日光性角化病。
- 100个可安全出院的病变：50个良性色素痣（黑痣）和50个脂溢性角化病。
每个病变都进行了活检，包括良性病变，因此这些病变更难诊断：某个医生决定切除的痣是令临床医生担忧的病变。
一位75岁男性躯干上的基底细胞癌。三个模型均正确诊断。
厚度小于0.8毫米的侵袭性黑色素瘤，色素含量极少。GPT-6 Astra以95%的置信度诊断为基底细胞癌。Claude Fable 5.1和CNN诊断为黑色素瘤。
腿部的脂溢性角化病。两个LLM均诊断为日光性角化病，CNN诊断为鳞状细胞癌：三个模型均错误，但都会选择保留而非出院。
图2. 另三个测试病变。左图为临床照片，右图为皮肤镜图像。图片来源：MILK10k，MILK研究团队，CC BY-NC。
LLM获得了两张图像且没有其他信息，并被要求像临床医生使用它们一样，从六个诊断中选择最可能的诊断（或“不确定”），给出置信度、第二选择意见，以及病变是否可以安全出院而无需治疗、活检或随访。两个模型在默认设置下收到相同的提示，且均未拒绝任何案例。
卷积神经网络（CNN）的性能并非最先进的水平。我使用了在日常照片上预训练的Inception v3模型，并在单个H100 GPU上对来自ISIC Archive的68,011张皮肤镜和临床图像进行微调。在训练过程中，这200个测试病灶及其相同病灶或患者的其他所有照片均从数据集中移除（包括验证集），因此模型从未见过这些图像，它们也没有用于选择模型或设定阈值。模型对每个病灶的两张图像进行评分，主要依据皮肤镜图像的权重进行综合，并从相同的六个诊断选项中进行选择。
您可以通过以下方式亲自尝试这个CNN模型。令人惊讶的是，该模型体积足够小，可以在手机浏览器中通过WebGPU完全运行。无需上传任何内容，其随机抽样按钮从这200个病灶中进行抽取。
诊断结果：62% 对比 42% #
图3. 两个大型语言模型（LLM）和CNN在相同六个诊断选项中选择的首次正确诊断结果。标签显示了在具有该组织学类型的病灶数量中正确的诊断数量。
总体而言，CNN在大多数诊断类别上都表现得更准确。允许选择第二次诊断时，CNN在200个案例中达到了173个正确诊断，而两个LLM分别达到134和138个。在30个黑色素瘤案例中，CNN正确识别了13个，而两个LLM分别正确识别了8个和11个。最大的差距出现在良性病变上：CNN正确识别了50个色素痣中的37个和50个脂溢性角化病中的26个，而GPT-6 Astra分别正确识别了16个和13个，Claude Fable 5.1分别正确识别了33个和6个。在基底细胞癌诊断上，CNN比GPT-6 Astra少识别1个，而在日光性角化病诊断上，CNN的表现落后于两个LLM。
这些模型的失败方式也不同。每个LLM都有一个偏好的诊断选项：GPT-6 Astra将75个病灶诊断为基底细胞癌，其中只有25个确实是基底细胞癌，包括30个黑色素瘤中的14个；Claude Fable 5.1将53个病灶诊断为日光性角化病，其中只有20个确实是日光性角化病。CNN在黑色素瘤诊断上的错误方向相反：在17个错误诊断中，有8个被误诊为色素痣，6个被误诊为脂溢性角化病。
结果汇总表 #
GPT-6 Astra
Claude Fable 5.1
CNN（Inception v3）
正确诊断（200个案例）
84（42%）
85（42%）
125（62%）
首次或二次选择正确（200个案例）
134
138
173
首次选择黑色素瘤（30个案例）
8
11
13
保留的危险病灶（100个案例）
97
96
77（预设阈值）；98或99（匹配时）
释放的良性病灶（100个案例）
32
22
76（预设阈值）
释放的黑色素瘤（30个案例）
3
4
18（预设阈值）；2或1（匹配时）
注意事项 #
- 样本量较小。200个病灶足以显示趋势，但不足以对相近结果进行排名，而30个黑色素瘤案例会导致最关键数据的较大不确定性。每个LLM案例仅运行一次；不同运行结果可能有差异。
- 难治性病例。每个病灶都进行了活检。在档案库的普通图像上，CNN在区分应保留和应释放的病灶方面表现显著优于LLM（ROC曲线下面积0.96，而LLM在此处为0.86）。
- 数据污染。MILK10k自2025年起已公开，LLM可能在训练中接触过该数据集；如果确实如此，这反而可能帮助它们。而CNN肯定没有接触过这些数据。
- 非最先进水平。Inception v3只是一个基准模型。最先进的皮肤癌诊断AI使用的是基于更多数据训练的图像变换器集成模型，而基于这些模型构建的监管产品表现显著更好。
以患者身份提问 #
如果以患者身份提问，仅提供临床照片并询问"是否需要就医"，两个LLM在几乎所有案例中都建议就医，包括良性病灶：在另外100个经活检证实的黑色素瘤案例中，分别有99个和98个被建议就医。
结论 #
一个小型、老旧的专用网络使用过时的架构，其识别皮肤病变的能力远优于两个前沿的LLM。
自行运行 #
案例、提示、所有LLM回复和评分代码都包含在一个下载包中，CNN代码在此处。
我设计了该测试并进行了临床裁定。分析和初稿由Claude Code生成，这是Anthropic的编程工具，基于Claude模型运行；被测试的两个LLM之一也来自Anthropic。评分通过脚本与组织学结果进行比对。
图片来自MILK10k数据集（MILK研究团队，国际皮肤成像协作组织），根据CC BY-NC许可证使用。
Magnus Lynch博士是Guy's医院的皮肤科顾问医生和莫氏外科医生，同时也是伦敦国王学院的荣誉读者（相当于副教授）。他的临床工作涵盖皮肤癌、莫氏手术和面部重建手术以及激光治疗；研究领域包括皮肤癌和疤痕的细胞生物学，以及人工智能在皮肤科中的应用。完整简介。