Fix evaluation bias to unlock better models on Amazon Bedrock

修复评估偏差，释放Amazon Bedrock上更优模型的潜力 | 人工智能

修复评估偏差，释放Amazon Bedrock上更优模型的潜力

本文由Property Finder的Khaled Thabit、Meriem Boughrara和Mohamed Desouky联合撰写。

Property Finder是一家数字房地产应用的工程团队，他们发现其评估标签中有96.8%直接继承自单一模型的预测结果，而非经过人工专家验证。其真实数据系统性地偏向现有模型，导致所有替代方案都显得表现不佳。标签中也存在错误，但偏差才是阻碍客观模型比较的关键因素。他们在将视觉AI工作负载迁移至Amazon Bedrock更具成本效益的方案时发现了这一问题。

Property Finder每天处理中东和北非（MENA）地区数以万计的房产图像。其系统对每张图像评估11个质量属性，包括水印检测、房间分类、装修状态、照片质量和建筑指标等。这相当于每天新增数千个房产列表，每个列表平均包含15张图像，所有图像在上线前都需要质量评估。

Property Finder需要更具成本效益的方案。但根据这些标签进行评估时，任何替代方案都处于不利地位。

最难的不是找到更好的模型，而是发现他们自身的评估方法本身就是阻碍。

在本文中，我们将分享Property Finder如何识别评估偏差、构建无偏见的真实数据，并通过进化式提示优化在Amazon Bedrock上选择合适模型的方法，最终在成本降低86%的情况下实现了更高的准确性。我们将逐步讲解方法论和迭代示例，并提供可应用于您工作的经验教训。

下图展示了Property Finder与AWS生成式AI创新中心团队用于在Amazon Bedrock上迭代提升分类准确率的提示优化循环。

图1：提示优化循环架构

该图展示了迭代提示优化周期。一张房产图像由Amazon Bedrock处理，输出JSON格式的预测属性。在优化过程中，这些预测结果会与256张专家标注的图像开发集进行Micro F1评分。随后的错误分析会检查失败图像并识别视觉模式，这些信息将指导下一个提示版本的改进。该循环从v0运行到v27。AI助手帮助优化提示，后续版本采用了自动化优化。

隐藏的错误证实了问题的严重性。水印文本提取存在字符级错误被标记为正确，包括虚构的品牌名称和缺失字符。照片分类强制将单个标签应用于包含多种房间类型的图像。

在剩余的3.2%由人工标注的样本中，标注人员引入了超出原始规范的类别，例如在提示中本不存在"办公室"标签的位置却出现了该类别。当答案密钥由你试图替换的模型编写时，模型对比将失去有效性。

构建值得信赖的真实数据

要打破这种循环，需要拥有真实领域知识的专业人员进行独立的新标注。不参考之前的模型输出，不接触现任模型的预测结果。

数据集范围

Property Finder团队手动标注了356张阿联酋图像和另一组埃及图像。团队从代表性的行业细分领域中选择这些图像，这些图像来自未标注的生产列表。本报告展示了阿联酋图像的结果。埃及图像作为跨区域检查用于230张图像，但此处未报告。前256张标注的阿联酋图像构成了调整参数的开发集。最终模型对比的评估集使用全部356张图像，增加了开发运行后标注的100张图像。356张图像的集合大致足以检测模型间的中等差异。单个属性中的稀有类别示例更少，因此这些属性上的微小差异可能无法被检测到。

专家标注

一位策略与分析专家对所有图像进行了标注。他们带来了房地产列表质量标准的专业知识。AWS生成式AI创新中心团队通过专门的澄清会议进行了系统的质量审查。这些审查解决了模糊案例，保持了数据集标注的一致性。

多标签转换

房地产图像经常通过门廊展示多个房间，或显示重叠的质量特征。从单标签到多标签分类的转换缓解了主要的人为歧义来源。

一张展示通过门廊可见卧室的走廊照片确实同时包含两者。在允许多标签后，你可以衡量模型正确识别的部分，而不是惩罚其合理的次要预测。

一种混合方法可以补充这种方法论：来自不同模型家族的模型提出候选标签和分歧，由人类专家裁定每个案例，因此不会直接使用任何模型输出作为标签。这将减少未来数据集扩展时的标注负担。

指标选择

微F1作为主要指标，因为它对每个预测赋予相同的权重，这符合整体标签正确性的业务目标。同时报告了宏F1，因为微F1受高频类别主导，可能掩盖稀有属性的弱表现。按标签计算的精确率和召回率有助于识别具体的失败模式。按样本计算的交并比（IoU）衡量预测标签与专家标签的重合程度。九个单标签属性（如旋转或水印检测）每张图像只有一个正确答案。AWS团队还通过精确匹配准确率（与专家标签匹配的图像占比）对它们进行评分。

提示优化作为强化学习

在无偏见的评估机制建立后，您可以开始进行优化。您无法改进那些无法正确衡量的指标。

该优化过程遵循类似于强化学习的循环机制。将每个提示版本视为一个智能体，Micro F1 分数作为奖励信号，错误分析作为改进的梯度。这一思路与 GEPA（遗传-帕累托反射提示进化）框架类似，您需要对提示组件进行变异、评估适应度、选择幸存者并迭代。在此过程中，AWS 团队通过错误分析优化了大多数版本，AI 助手会审查失败图像并提出修改建议。

来自 DSPy 库的 MIPROv2 自动化提示优化框架，为 v27 版本的图像分类任务提供了手动流程的补充。

起点

初始提示（v0）使用了通用分类指令，此处简化以供说明：

“将该图像分类到以下类别之一：客厅、厨房、卧室、浴室……”

专有模型 A 是 Property Finder 的生产基线模型，在 256 张图像的开发集中取得了 Micro F1 分数 0.55。该模型使用了为该模型系列优化的 v22 版本提示。v21 之前的版本使用早期的单标签设置，其分数无法直接比较。

迭代优化

AWS 团队在多个候选模型上测试了早期版本，并增加了结构化输出格式和属性特定定义。

最具指导性的改进来自图像级错误分析。在早期单标签版本中，模型始终将通过门廊可见的房间分类为次要房间类型。AWS 生成式 AI 创新中心团队添加了明确指令，要求根据占据画面主体的房间进行分类。后续切换到多标签输出后，主房间仍作为标签，同时允许将通过门廊可见的房间作为附加标签。

区域定制带来了下一个提升。在某些地区，房源照片包含非水印的装饰性阿拉伯文文本叠加。针对这些文本的规则消除了整个类别误报。

v21 版本将图像分类和房间类别切换为多标签输出，成为所有模型的共享起始提示。使用该版本后，Meta 的 Llama 4 Maverick 17B Instruct 模型在开发集上的 Micro F1 分数达到 0.75。从这里开始，AWS 团队为每个模型单独优化提示。对于该模型，v24 针对房间尺寸高估、多标签处理和输出格式进行优化。随后 v25 的自动优化版本将关键任务前置。在 v27 版本中，MIPROv2 重构了图像分类任务，该模型在该任务上的 Micro F1 分数达到 0.76。

终点

最终提示 v27_PF 是 v27 加上 Property Finder 为渲染图像、带边框或画框的图像以及走廊图像添加的规则。与 v27 一样，它保留了阿拉伯文文本规则和输出格式指令。每个模型调用后添加的归一化步骤处理剩余的格式差异。

使用 v27_PF 提示后，Llama 4 Maverick 17B Instruct 在包含 356 张图像的评估集上取得了 Micro F1 分数 0.80，而专有模型 A 在相同数据集上使用 v22 版本仅获得 0.56 分。评估集包含 256 张开发图像，两个模型的提示均基于这些图像进行优化。因此这些分数具有乐观倾向。

从专有模型 A 切换到 Llama 4 Maverick 17B Instruct（每个模型使用独立调优的提示），在开发集上将 Micro F1 从 0.55 提升至 0.81。这是相对提升 47%。仅对 Llama 4 Maverick 17B Instruct 进行提示调优，就将指标从使用共享 v21 提示的 0.75 提升至使用 v27 提示的 0.81。

失败方法的教训

并非所有尝试都成功。两桶（2-bucket）方法将水印属性和其他属性分别放在两个独立的 API 调用中，但并未带来显著的准确率提升。框图（boxed-image）检测指标也大幅下降。由于水印属性未包含在相同提示中，模型误将水印叠加识别为图像边框。

无论使用哪种模型，通用提示均未取得成功。房地产图像领域具有过多的垂直领域特性，无法通过通用指令实现有效处理。

结果：成本、准确率和速度

AWS Generative AI Innovation Center 团队使用 Amazon Bedrock 上的无偏评估框架对多个模型进行了评估。所有模型均从共享的 v21 提示开始，随后在开发集上针对各自模型系列进行调优。专有模型 A 仅进行了单轮调优（v22），而 Llama 4 Maverick 17B Instruct 经历了多轮调优（v24 至 v27），并加入了 Property Finder 的边缘案例规则，因此其调优投入更多。最终与专有模型 A 的对比使用了 356 张图像的评估集。Property Finder 基于所有 11 个属性的准确率和成本效率，选择了 Llama 4 Maverick 17B Instruct 用于生产环境。有关各区域模型可用性信息，请参阅 Amazon Bedrock 中的 Supported models by AWS Region。

下表显示了 Llama 4 Maverick 17B Instruct（v27_PF）在 356 张图像评估集上针对每个单标签属性达到的精确匹配准确率。在 9 个属性中有 6 个达到 90% 或更高，且在所有 11 个属性上均达到或超过专有模型 A 的表现。在每张图像可能包含多个标签的图像分类任务中，两者得分相同。

| 属性 | 精确匹配准确率 | |------------------|----------------| | 旋转检测 | 100% | | 人物检测 | 97% | | 框图检测 | 94% | | 水印检测 | 93% | | 渲染检测 | 91% | | 装修状态 | 81% | | 施工房间 | 65% | | 水印文本提取 | 55% |

每千张图像成本

Property Finder 每天处理数万张图像，因此每张图像成本至关重要。Llama 4 Maverick 17B Instruct 是一款成本效益高的开源权重模型，其流水线可在单次调用中获取图像的所有属性。

| 结果 | 值 | |------------------------------|------------| | 每千张图像预估成本 | $2.35 | | 相比 Property Finder 旧方案的成本降低 | 86% |

以上数据为 2025 年 12 月美国东部（俄亥俄）区域的预估值。Llama 4 Maverick 17B Instruct 的数据假设每张图像有 9,000 个输入 token 和 200 个输出 token，基于原始双调用成本分析。使用生产提示的单次调用输入 token 数量约为 7,500–8,000，因此这是上限预估值。86% 的对比基于 Property Finder 旧方案（使用 v21 提示）的成本分析预估值。准确率对比使用了从 v21 调优得到的 v22，其成本可能有所不同。当前定价请参阅 Amazon Bedrock pricing。

推理速度

Property Finder 在生产环境中运行此优化流程，每天使用 Amazon Bedrock 上的 Llama 4 Maverick 17B Instruct 处理数以万计的图像。根据他们自己的监控数据，与之前的设置相比，推理延迟降低了 40–60%。

应用于你的工作负载

首先审查你的评估标签。如果这些标签来自模型预测而非人类专家，那么你将面临与 Property Finder 相同的偏见问题。

为几百个代表性样本构建领域专家的地面真相，并保留一个永不用于调优的独立测试集。如果分类任务涉及重叠属性，请采用多标签指标。然后通过图像错误分析迭代优化提示，将每次迭代视为进化优化循环中的一次生成。

部署此类流程时，请添加负责任的 AI 控制措施。例如，可以使用 Amazon Bedrock Guardrails 强制执行内容策略并过滤不当模型输出。由于此流程中的属性预测没有经过校准的置信度分数，因此需要使用实用信号来选择需要人工审核的图像。模型分歧就是这样的信号。当两个模型对某个属性给出不同答案时，图像通常存在歧义。为每张图像增加第二个模型会带来成本，因此可以先从样本开始。在依赖该信号之前，先检查它在开发集上捕捉真实错误的频率。

结论

在本文中，我们介绍了 Property Finder 如何识别评估偏见、构建无偏地面真相，并通过在 Amazon Bedrock 上进行模型选择，应用进化提示优化实现了更低成本下的更高准确性。

要实现这一成果，需要三个要素协同作用：诚实衡量的无偏评估、无需重新架构即可在不同模型家族之间评估和切换的灵活性，以及针对领域精心优化的提示。Amazon Bedrock 提供了基础支持。它通过单一 API 为 Property Finder 提供了多个模型家族的访问权限，继承了 AWS 的治理和安全控制，并具备在新模型发布时无需更改基础设施即可采用新模型的能力。

要开始在 Amazon Bedrock 上进行模型评估和选择，请访问 Amazon Bedrock 文档。如果你需要处理大规模视觉工作负载并希望构建无偏评估框架，欢迎联系 AWS Generative AI 创新中心。

在评论区分享你关于模型评估和提示优化的经验。

致谢

AWS 的其他贡献者包括 Yousuf Albannai、Amine Sehili、Thomas Ounnas、Aris Tsakpinis、Rafik Soliman、Nikhil Ulhas Pandit 和 Sneh Sharma。

作者简介

'"` /think