When Labels Say No, But Embeddings Say Yes

当标签说不，但嵌入向量说可以 | Towards Data Science

计算机视觉

当标签说不，但嵌入向量说可以

为什么传统检索指标会忽略有意义的相似性

Theophano Mitsa

2026年10月29日

21分钟阅读

在Google上关注我们

分享

图片由ÇÖTÜR, A. 通过Pexels提供

夕阳下优雅的现代别墅，拥有无边泳池和风景如画的山景。

“没有什么比显而易见的事实更具有欺骗性。” —— 福尔摩斯，《博斯科姆谷之谜》阿瑟·柯南·道尔

1. 引言

你刚刚中了彩票，你的第一笔消费将实现童年的梦想：购买法拉利。你访问豪华汽车网站，找到一辆迷人的法拉利跑车，点击“查找相似”。结果？四辆法拉利（太棒了！），一辆兰博基尼（很酷！），还有一辆法拉利SUV（等等，这是什么？）。你喜爱法拉利和兰博基尼的推荐结果。但法拉利SUV？这与你原本的设想相差甚远。

为什么会出现兰博基尼？因为它具有与法拉利相似的视觉特征：相似的低轮廓、流畅的曲线和运动型设计。而法拉利SUV呢？也许检索系统对与法拉利品牌相关的特征赋予了过高的权重，尽管它的形状与法拉利截然不同。这两个结果都反映了相似性，但对“相似”的定义却截然不同。

现在出现了有趣的部分。

假设搜索引擎使用一个基准进行评估，该基准仅在两辆车具有相同品牌标签时才认为它们相关。兰博基尼会被视为错误，而法拉利SUV则会获得满分。

所以你钟爱的汽车被判定为错误，而不想要的汽车却被判定为正确。这似乎有些荒谬，不是吗？

这个例子揭示了基于类别检索评估的一个重大局限性：语义相似性与类别一致性并不一定相同。一个检索系统可能发现来自不同类别的对象之间有意义的关联，但由于标签不匹配而受到惩罚。

这引发了一个引人深思的问题：

当嵌入向量发现标签未能识别的有意义相似性时，我们是否应该将这些检索结果视为错误？

在本文中，我们将使用CLIP（对比语言-图像预训练），这是最著名的视觉-语言模型之一，它能够在共享的嵌入空间中表示图像和文本，来探讨这个问题。

我们的实验使用了一个包含23种建筑风格的9,315张图像的Kaggle数据集。为什么是建筑？因为不同建筑风格的建筑可能具有相似的屋顶、窗户、材料、对称性和装饰细节。两座建筑可能看起来非常相似，但具有不同的建筑标签。

这是一个完美的案例，用于探讨CLIP是否真的存在混淆，或者我们的评估标准是否有时过于僵化。

1.1 我们将探索的内容

我们首先解释CLIP如何将图像表示为嵌入向量，并使用余弦相似度来衡量相似性。

接下来，我们介绍我们的建筑图像数据集，并使用以下指标建立CLIP的检索性能基线：Precision@1、Precision@5和Precision@10。

Precision@k（P@k）衡量的是在检索出的前k张图像中，与查询相关的图像所占比例。在我们的实验中，如果图像具有与查询图像相同的建筑风格标签，则认为该图像相关。例如，Precision@5为0.80意味着五张最高排名的检索图像中有四张属于与查询相同的建筑风格。

我们进一步超越类别标签，通过屋顶类型、材料、对称性、窗户和其他显著特征来衡量建筑相似性。

我们随后更仔细地审视CLIP的明显错误，我们称之为标签不匹配。这些不匹配是随机的，还是CLIP倾向于检索建筑相关的风格？我们分析相似度分数、常见不匹配情况以及建筑风格之间的关联性。

最后，我们考虑所有这些对检索评估意味着什么。相关性应该是一个简单的“是”或“否”，还是通过衡量相似度程度能更全面地反映检索质量？

我们的目标不是证明CLIP总是正确。有些错误只是错误。但也许其他错误值得重新审视。

毕竟，如果你要求一辆法拉利跑车却收到一辆兰博基尼，你真的会抱怨吗？

2. CLIP如何感知相似性

一旦获得嵌入向量，我们需要一种数学方法来比较它们。

最广泛使用的度量方法之一是余弦相似度：

sim(I₁,I₂)=v₁⋅v₂‖v₁‖‖v₂‖

余弦相似度衡量的是两个向量之间的角度而非绝对长度。值为1表示向量方向完全一致，值为0表示向量正交。

在我们的检索流程中，我们对嵌入向量进行归一化处理，并根据候选图像与查询嵌入向量的余弦相似度进行排序。最终得到的是一张按CLIP学习到的表示空间中接近程度排序的图像列表。

为了直观观察这个高维空间，我们使用主成分分析（PCA）将CLIP的512维图像嵌入向量投影到二维空间。

CLIP图像嵌入向量的PCA投影显示了按建筑风格聚类的特征，但不同风格之间也存在显著重叠。然而，前两个主成分仅解释了总方差的21.3%。因此，二维投影仅捕捉了原始512维嵌入空间中的一小部分信息，重叠现象需要谨慎解读。

图1. CLIP图像嵌入向量的二维PCA投影，点的颜色根据其建筑风格标签进行标注。

到目前为止，一切顺利。但请注意一个关键点：

余弦相似度告诉我们两张图像在CLIP嵌入空间中的接近程度，但无法说明导致这种相似性的具体特征——更不用说这些特征是否与用户的搜索需求相关。

CLIP的嵌入向量捕捉了物体、外观、构图和语义的信息。但模型并未说明这些因素各自对相似度评分的贡献程度。

这一区别至关重要，因为两张图像在嵌入空间中的接近可能与我们真正关心的特征无关。

2.2 当出现标签不匹配时

假设提交了一张哥特式建筑的图像作为查询。假设CLIP检索到另一座哥特式建筑作为最接近的匹配项。很好！基于标签的基准测试会给予它满分。

现在假设CLIP检索到的是罗马式建筑。由于建筑风格标签不同，基准测试会将结果标记为错误。但哥特式和罗马式建筑有许多共同点，包括石材结构、拱形结构、厚重的结构元素以及历史影响。

CLIP是否捕捉到了有意义的建筑关系？有可能。

当然，并非所有标签不匹配都是隐藏的成功。有时CLIP可能因为背景、光照、摄影视角或其他与建筑风格无关的特征而检索到某座建筑。

我们希望了解CLIP的标签不匹配是否反映了建筑风格之间的真正相似性，还是仅仅是巧合。为此，我们需要超越正确和错误标签的范畴，衡量建筑风格之间有多少共同点。

这将我们带入了实验环节。

3. 从费拉里斯到立面：我们的建筑实验

建筑风格通常共享特征，因此我们可以检验CLIP的标签不匹配是否反映了有意义的相似性，而非任意检索。

3.1 数据集

我们从包含10,113张图像的Kaggle建筑图像数据集开始，这些图像代表了25种建筑风格。我们排除了两个类别——阿契美尼德和古埃及建筑，因为它们主要包含古代纪念碑，而我们的搜索系统聚焦于房屋和类似建筑。在移除这两个类别后，最终数据集包含23种建筑风格的9,315张图像。

该数据集包含哥特式、罗马式、包豪斯、国际风格、乔治亚风格、希腊复兴、装饰艺术等建筑风格。每张图像都有建筑风格标签，使我们能够使用传统的基于类别的指标评估检索性能。

但我们的目标不止于此。

当CLIP检索到不同建筑风格的图像时，我们想知道查询和检索到的风格是否共享有意义的建筑特征。为此，我们需要除CLIP嵌入和数据集标签以外的额外信息来源。

3.2 评估检索的两种方式

我们从两个互补的角度评估CLIP。

第一：类别相关性。

这是传统方法。如果检索到的图像的建筑风格标签与查询标签匹配，则认为该图像相关。我们计算Precision@1、Precision@5和Precision@10以建立基准。这些指标告诉我们CLIP检索相同标签建筑类别图像的有效性。

第二：建筑相似性。

在此，我们超越标签。

我们构建了建筑特征的结构化表示，包括屋顶类型、材料、对称性、窗户配置和独特特征。使用这些特征，我们计算建筑风格之间的相似性度量。

这为我们提供了一种独立的方法，来检验标签不匹配的检索是否倾向于涉及共享建筑特征的风格。需要强调的是，我们的度量是基于建筑风格的共同特征进行比较，而不是单个建筑。相关建筑风格的建筑可能仍然看起来差异很大。

我们的目标不是将所有标签不匹配的情况都视为正确，也不是要取代传统的检索指标。相反，我们想探讨这些指标可能遗漏了什么。

4. 基线：CLIP正确率有多高？

在质疑CLIP的错误是否真的是错误之前，我们需要先根据传统检索指标确定其表现水平。

我们的实验使用了9,315张代表23种建筑风格的图像。每张图像作为查询，CLIP通过计算其嵌入向量之间的余弦相似度，从图像集合中检索最相似的图像。检索结果中排除了查询图像本身。

在此次初步评估中，我们采用了一个简单的相关性定义：如果检索到的图像具有与查询相同的建筑风格标签，则视为正确。

不考虑部分匹配。不涉及建筑解读。仅仅是标签匹配。相关内容见第4.1节。

4.1 检索性能评估

我们使用三个标准指标评估CLIP：Precision@1、Precision@5和Precision@10。

Precision@1衡量最高排名的检索图像是否与查询具有相同的建筑风格标签。Precision@5和Precision@10分别衡量前五和前十检索结果中匹配标签图像所占比例。表1展示了结果。

| 指标 | 精度 | |--------------|----------| | Precision@1 | 0.7354 | | Precision@5 | 0.6461 | | Precision@10 | 0.6065 |

表1. CLIP基线检索性能（基于精确建筑风格标签匹配）。

乍看之下，CLIP表现相当不错。约73.5%的最高排名检索图像与查询的建筑风格标签一致。然而，随着考虑更多检索结果，精度逐渐下降。前五结果中约64.6%具有匹配标签，前十结果中该比例降至60.7%。

这种下降并不令人意外。随着排名列表向下延伸，CLIP会包含越来越多根据其嵌入向量相似度衡量与查询相似度逐渐降低的图像。

但还有另一种解读方式。

4.2 剩下的26.5%

CLIP约73.5%的最高排名检索结果与查询的建筑风格匹配。那么剩下的26.5%呢？

在我们的9,315个查询中，有2,465个查询的最高排名检索结果（Precision@1）具有不同的风格标签。所有这些都被视为错误，即使风格密切相关，例如哥特式与罗马式或包豪斯与国际风格也是如此。

该基准对检索到密切相关风格与检索到差异显著风格不作区分。两者得分相同：零分。

Precision@1衡量标签匹配频率，但它能告诉我们关于检索质量的全部信息吗？下一步我们将使用独立于其嵌入向量的相似度度量，分析CLIP标签不匹配背后的建筑关系。

5. 超越风格标签：衡量建筑相似性

为了衡量这些相似性，我们开发了一个基于特征的度量方法M_feature，该方法通过比较建筑风格的共有特征（而非标签）来评估相似性。

然而，并非所有建筑特征都能以相同方式比较。一些特征（如屋顶类型和建筑材料）可以表示为属性集合。其他特征（如对称性和装饰性）更适合用有序等级表示。

我们因此采用两种互补的相似性度量方法——杰卡德相似度（Jaccard similarity）和序数相似度（ordinal similarity），并将它们综合为一个统一的建筑风格相似性评分。

重要的是，这一度量方法独立于CLIP的嵌入向量和检索得分。

5.1 通过特征表示建筑风格

我们考虑了五类特征：

• 整体形态：对称性、垂直性、几何规律性、体量复杂性以及装饰性。

• 屋顶类型：与每种风格相关的典型屋顶配置。

• 建筑元素：具有代表性的结构和装饰特征，如拱门和柱子。

• 窗户：典型的窗户形状和排列方式。

• 材料：常见的建筑材料，包括石材、砖块、木材、灰泥以及玻璃或钢材。

对于23种建筑风格中的每一种，我们在名为STYLE_PROFILES的预定义字典中创建了对应的特征档案。我们通过人工方式构建了该字典，基于每种风格中典型建筑特征的显著性分配序数值。

我们将四个特征组——屋顶类型、建筑元素、窗户和材料——表示为特征属性集合。例如，包豪斯风格和国际风格共享若干现代主义特征，包括几何规律性、平屋顶和大面积玻璃窗。尽管哥特式和罗马式建筑在历史和风格上存在显著差异，但它们也共享陡峭屋顶、拱门、塔楼和石材结构等特征。

这些档案描述的是建筑风格的典型特征，而非单体建筑的具体特征。这一区别至关重要。某座哥特式建筑可能与另一座哥特式建筑存在显著差异，同样，属于不同风格的两座建筑也可能看起来非常相似。

我们的目标不是完美描述每座建筑。而是建立一种结构化且可解释的建筑关系表示方式。

5.2 比较建筑特征集合：杰卡德相似度

让我们先从可以表示为集合的特征开始。

对于屋顶类型、建筑元素、窗户和材料，我们使用杰卡德相似度（Jaccard similarity）进行度量，该方法通过计算两种风格共享特征数与两种风格总特征数的比值来衡量相似程度。

$$ J(A,B)=\frac{|A\cap B|}{|A\cup B|} $$

公式1. 杰卡德相似度

其中，A和B是与两种建筑风格相关的特征集合。分子表示它们的共享特征数量，分母表示两种风格中所有不同特征的总数。

示例：比较哥特式与罗马式建筑的屋顶类型

根据我们的建筑风格档案：

• 哥特式屋顶类型：{山墙，陡峭}

• 罗马式屋顶类型：{山墙，陡峭}

这两种风格共享全部屋顶特征。它们的交集包含两个特征，它们的并集也包含两个特征。因此：

$$ J_{\mathrm{roof}}(\text{Gothic},\text{Romanesque}) =\frac{2}{2}=1.0 $$

公式2.

屋顶相似度为1.0，表明我们的档案中所编码的屋顶特征完全重合。

让我们再来看一个相似度较低的案例。

示例：比较包豪斯风格与国际风格的材料使用

根据我们的档案：

• 包豪斯风格：{玻璃钢，混凝土，灰泥}

• 国际风格：{玻璃钢，混凝土}

这些风格共享两种材料，而它们的联合包含三种不同的材料。

因此：

t

e

l

包豪斯

国际

3

≈

0.667

J_{\mathrm{materials}}(\text{Bauhaus},\text{International}) =\frac{2}{3}\approx0.667

材料

公式 3.

它们的材料相似度约为 0.667。

请注意，Jaccard 相似度并不衡量两种材料本身是否相似。它仅衡量我们分配给风格的属性集之间的重叠程度。

我们分别对屋顶类型、建筑元素、窗户和材料应用此计算。当两个特征集都为空时，该组件被视为不可用，而不是基于共享的缺失来分配相似度。

5.3 比较整体形式：序数相似度

构成整体形式特征的特征描述的是程度而非特定属性的存在或缺失。以装饰为例，建筑可能具有极简、中等或繁复的装饰。同样，建筑对称性可能从主要不对称到高度对称。我们使用从 0 到 2 的序数值表示了五个整体形式特征：

特征

0

对称性

低

中等

高

垂直性

几何规律性

体量复杂性

装饰

表 2.

为了比较两种风格，我们计算它们分配值之间的差距：

k

−

S_k(A,B)=1-\frac{|a_k-b_k|}{2}

公式 4.

这里，a_k 和 b_k 是为建筑风格 A 和 B 分配的特征 k 的序数值。

该计算产生三种可能的相似度值：

• 相同的序数值：相似度 = 1。

• 相差一个等级：相似度 = 0.5。

• 相差两个等级：相似度 = 0。

考虑以下示例：我们想比较哥特式和包豪斯建筑的整体形式。这些建筑的整体形式属性包含以下序数值：

相似度

0.5

0.0

表 3.

考虑垂直性。哥特式建筑的值为 2，而包豪斯的值为 1。应用公式 4：

c

y

S_{\mathrm{verticality}} =1-\frac{|2-1|}{2}=0.5

∣2

1∣

公式 5.

这两种风格在序数等级上相差一级，产生 0.5 的相似度。对于装饰，哥特式的值为 2，包豪斯的值为 0：

n

S_{\mathrm{ornamentation}} =1-\frac{|2-0|}{2}=0

0∣

公式 6.

根据我们的编码，这两种风格在这个特征上差异最大。

为了获得整体形式相似度评分，我们对五个序数特征的相似度取平均值。

5

∑

S_f(A,B)=\frac{1}{5}\sum_{k=1}^{5}S_k(A,B)

公式 7. 整体形式相似度

对于哥特式和包豪斯：

+

S_f=\frac{1+0.5+0.5+0+0}{5}

公式 8.

0.40

\boxed{S_f=0.40}

公式 9.

因此，哥特式与包豪斯的整体形式相似度为 0.40。该评分总结了它们在所有五个序数特征上的相似性。这还不是它们的完整建筑相似度。

要获得完整的相似度，还必须考虑它们的屋顶、建筑元素、窗户和材料。

5.4 将 Jaccard 和序数相似度合并为 M_feature

我们现在有两种不同类型的相似度评分。第一种是序数相似度，总结了描述整体建筑形式的五个特征。第二种是 Jaccard 相似度，衡量每个剩余特征组内的重叠程度。

我们将这些指标合并为一个单一的建筑相似性评分，对五个特征组赋予相同的权重。

w

\frac{S_f+S_r+S_e+S_w+S_m}{5}

公式 10。

其中：

• S_f：整体形态相似性，通过五个序数特征计算得出。

• S_r：屋顶类型相似性，使用杰卡德系数计算。

• S_e：建筑元素相似性，使用杰卡德系数计算。

• S_w：窗户相似性，使用杰卡德系数计算。

• S_m：材料相似性，使用杰卡德系数计算。

关键点在于，五个序数特征首先合并为一个整体形态评分。该评分随后与四个杰卡德评分取平均。

让我们通过一个完整示例进行说明。

#### 5.4.1 示例：包豪斯风格与国际风格的对比

在我们的特征描述中，五个序数特征完全一致：

整体形态特征

国际风格

表4。

因此，它们的整体形态相似性为1.0。

其他特征组相似性如下：

特征组

方法

整体形态

序数

屋顶类型

杰卡德

建筑元素

不可用（两组均为空）

不可用

窗户

表5。

由于两组建筑元素均为空，该组件不可用且不参与平均计算。

因此我们对四个可用组件取平均：

4

\frac{1+1+1+0.667}{4}

公式11。

u

0.917

\boxed{M_{\mathrm{feature}}\approx0.917}

特征

公式12。

这就是我们在相似性矩阵中报告的包豪斯风格与国际风格的建筑相似性评分。该示例展示了序数相似性与杰卡德相似性如何协同工作。

尽管两种风格具有不同的标签，但最终得到了0.917的高建筑相似性评分。

∈

\frac{\displaystyle\sum_{k\in\mathcal{V}(A,B)}S_k(A,B)} {|\mathcal{V}(A,B)|}

公式13

其中V(A,B)表示两种风格可用的特征组集合。

因此，最终相似性评分范围在0到1之间，数值越大表示编码后的建筑特征相似性越强。

该度量反映了我们选择的特征和权重假设，不应被解释为建筑相关性的客观或独立验证指标。

5.5 构建建筑相似性矩阵

在23种建筑风格中，我们构建了一个23×23的相似性矩阵，如下所示。

图2。相似性矩阵。

每个条目表示两种风格之间的建筑相似性：

M_{\mathrm{feature}}(s_i,s_j)

公式14。

矩阵是对称的：哥特风格与罗马式风格的相似性与罗马式风格与哥特风格的相似性相同。

每种风格与自身的相似性最大：

M_{\mathrm{feature}}(s_i,s_i)=1

公式15

排除与自身风格的比较后，我们得到253对独特的建筑风格组合：

23

×

22

253

\binom{23}{2}=\frac{23\times22}{2}=253

公式16。

下表6展示了我们基于特征的度量识别出的一些最强关联。

建筑风格

包豪斯-国际风格

哥特-罗马式

0.880

希腊复兴-乔治亚风格

0.800

新奇-安妮女王风格

芝加哥学派-装饰艺术

殖民地-美式四方形

0.780

巴洛克-巴黎美术学院

俄罗斯复兴-拜占庭

0.760

表6。

多个关系与已确立的建筑特征相一致。包豪斯风格与国际风格共享几何简洁性和极少的装饰性。哥特式与罗马式建筑共享结构和历史特征，而新古典主义复兴与乔治亚风格则共享对称性和古典比例。

这些例子表明我们的相似性度量能够产生合理的结果。然而，这些分数依赖于我们选择的特征及其等权重分配。不同的特征或权重可能会产生不同的结果。

5.6 一般而言，建筑风格的相似性如何？

在将我们的度量应用于CLIP的检索结果之前，我们检查了所有253个不同风格对的相似性分数分布。平均建筑相似度为0.345，中位数为0.307。

第75百分位数为0.460，这意味着约四分之三的风格对的相似性分数低于或等于该值。在分布的高端，第90百分位数为0.639，第95百分位数为0.733。这些值建立了参考分布，可用于评估CLIP的标签不匹配情况。

例如，相似性分数0.70不仅仅是一个介于0到1之间的数字。在我们的建筑相似性矩阵中，它相对于大多数其他建筑风格对而言代表了相对较强的关系。

这使我们能够结合上下文评估检索不匹配的情况。

如果CLIP对哥特式查询检索到罗马式建筑，我们可以查阅这两种风格的建筑相似性，并确定这种关系与整体分布的对比。我们不再将每个不匹配视为同等错误，而是可以开始区分涉及密切相关的风格的检索与涉及显著不同建筑特征的检索。

5.7 建筑相似性的两种视角

CLIP通过学习到的图像表示来衡量相似性，而我们的基于特征的度量则比较建筑风格。两者都有局限性：CLIP可能受到不相关视觉细节的影响，而我们的度量不会比较单个建筑。

但CLIP检索到的建筑相关风格是否比我们随机预期的更频繁？

让我们分析证据。

6. 当CLIP出错时，是否可能正确？

我们现在检查CLIP的标签不匹配是否反映了有意义的建筑相似性。

在分析检索结果之前，我们将基于特征的相似性分数与253种独特建筑风格对的CLIP余弦相似性均值进行了比较。

结果显示中等正相关性（Spearman ρ = 0.435）。基于特征相似性较高的风格通常获得较高的CLIP相似性分数，尽管某些配对显示出显著分歧。

图3：基于特征的建筑相似性与属于不同建筑风格的图像之间的平均CLIP余弦相似性，针对253种风格对。虚线显示整体线性趋势，所选标签突出显示两种度量之间存在显著差异的配对。

#### 6.1 CLIP的不匹配在建筑相似性上有多高？

我们分析了CLIP的2,465个Precision@1标签不匹配，通过我们的建筑相似性矩阵获取每个查询风格与其检索风格之间的相似性。

设qᵢ表示第i个查询的建筑风格，rᵢ表示其最高检索结果的风格。

我们定义标签不匹配的集合为：

$$ \mathcal{E} = \{i \mid q_i \neq r_i\} $$

公式17。

对于我们的数据集，$|\mathcal{E}| = 2,465$，占9,315个查询的约26.5%。

对于每个不匹配项，其结构相似性为：

$$ a_i = M_{\text{feature}}(q_i, r_i) $$

公式18。

其中 $M_{\text{feature}}$ 是第5节中开发的结构相似性矩阵。

不匹配项的平均结构相似性为：

$$ \overline{AS_{CLIP}} = \frac{1}{|\mathcal{E}|} \sum_{i \in \mathcal{E}} a_i = 0.5001 $$

公式19。

分布提供了额外的见解。

| 统计指标 | 结构相似性 | |----------|------------| | 平均值 | 0.500 | | 中位数 | 0.473 | | 75%分位数 | 0.75%分位数 | | 90%分位数 | 0.90%分位数 | | 最大值 | 最大值 |

表7。

这些结果表明，CLIP的许多不匹配项涉及共享大量结构特征的风格。

然而，绝对相似性分数无法告诉我们这种相似性有多不寻常。0.50的分数可能高或低，具体取决于所有建筑风格之间的相似性分布。

为了更全面地理解这些结果，我们将每个不匹配项的结构相似性与所有253种不同建筑风格对的相似性分数进行了比较。然后我们计算了每个不匹配项的百分位排名，并对这些排名取平均值。这有助于我们了解CLIP的不匹配项在整体结构相似性分布中的位置。

我们如何计算不匹配相似性分数的平均百分位排名？

我们根据相似性分数对253种建筑风格对进行排序。对于CLIP的2,465个不匹配项，我们确定每个不匹配项的相似性分数在该分布中的位置。

例如，80%的百分位排名意味着该不匹配项的结构相似性分数高于所有风格对的约80%。

然后我们通过将所有2,465个不匹配项的百分位排名相加并除以2,465来计算平均百分位排名：

$$ \text{平均百分位排名} = \frac{\sum_{i=1}^{2465} P_i}{2465} = 71.2 $$

公式20。

其中 $P_i$ 是第i个不匹配项的百分位排名。

我们发现了什么？

• 平均百分位排名：71.2。平均而言，CLIP的不匹配项在结构相似性上处于约第71百分位。
• 51.4%的不匹配项位于结构相似性前25%。
• 27.5%的不匹配项位于前10%。
• 18.6%的不匹配项位于前5%。

这些结果表明，CLIP的不匹配项主要集中在结构相似性得分相对较高的建筑风格中，而不是在所有可能的风格对中均匀分布。

但这种模式是否仅仅是因为某些建筑风格在我们的数据集中出现的频率更高？

为了解答这个问题，我们进行了蒙特卡洛实验。

#### 6.2 CLIP的不匹配项是否比随机情况更有意义？

令人信服的评估不仅需要证明CLIP能检索到结构相似的风格，还必须确定观察到的相似性是否超过了随机检索的预期。

重要的是，我们的数据集并不包含每种建筑风格相同数量的图像。因此，随机检索更可能返回常见风格而非罕见风格。为应对这种不平衡，我们构建了一个考虑频率的随机基准。

对于与标签不匹配相关的2,465个查询，我们随机选择了一种替代的建筑风格（排除查询本身的风格）。替代风格的采样比例与其在数据集中的出现频率成正比。随后我们计算了每种查询风格与其随机选择的替代风格之间的平均建筑相似度。

为确保可重复性，该过程使用固定随机种子42重复执行了10,000次。

令r i ( b ) r_i^{(b)} r i ( b ) 表示第b次蒙特卡洛试验中查询i的随机采样替代风格。

该试验的平均相似度为：

\frac{1}{|\mathcal{E}|} \sum_{i\in\mathcal{E}} M_{\text{feature}}(q_i,r_i^{(b)})

公式21。

其中，如上所述，|E|=2,465。

随后我们将观察到的CLIP平均值与10,000次模拟均值的分布进行了比较。

结果

| 指标 | 值 | |------|----| | 观察到的CLIP平均相似度 | 0.3500 | | 随机基线均值 | 0.3500 | | 随机基线标准差 | 0.0037 | | 95%模拟零假设区间 | 0.3429–0.3573 | | 最大模拟均值 | 0.3638 | | 蒙特卡洛试验次数 | 10,000 | | 蒙特卡洛p值 | 0.00009999 |

CLIP标签不匹配的观察到的平均建筑相似度比随机基线高出约43%。更重要的是，10,000次随机试验中没有任何一次的平均相似度达到CLIP的观测值。

这一结果提供了强有力的统计证据，表明CLIP的标签不匹配表现出比频率感知的随机选择所能预期的更高的建筑相似度。

我们还检查了结果是否由少数频繁混淆的风格对驱动。2,465个不匹配项涉及287个不同的定向风格对，其中最频繁的五个对仅占不匹配项的11.9%。因此，观察到的建筑相似性并非局限于少数反复出现的风格混淆。

这一结论具有重要意义：即使CLIP检索到带有错误建筑标签的图像，其选择在建筑特征方面也远非随机。

7. 讨论：超越建筑检索

基于类别评估的局限性不仅限于建筑图像检索。

在时尚检索中，不同类别的服装可能具有相似的轮廓、纹理或设计元素。在产品搜索中，竞争品牌可能提供几乎相同的产品。在语义搜索中，分配给不同主题的文档可能表达密切相关的思想。

这些例子说明了相关性取决于应用场景：时尚领域可能最关注视觉外观，产品搜索侧重功能，文档检索则关注意义。

因此，改进检索系统不仅需要更好的模型，还需要反映用户实际认为相关因素的评估方法。

8. 结论

通过使用代表23种建筑风格的9,315张图像，我们发现CLIP的2,465个标签不匹配的Precision@1检索结果在建筑相似度上显著高于频率感知的随机基线，如我们的蒙特卡洛实验所示。

我们的研究结果表明，传统的类别评估方法可能会忽略嵌入式检索系统捕捉到的重要关系。这些发现支持将Precision@K与应用特定的相似性度量相结合，以提供对检索质量更全面的评估。

感谢您的阅读！

文章中使用的数据集可在以下地址找到：

https://www.kaggle.com/datasets/dumitrux/architectural-styles-dataset

文章的完整代码可在以下地址找到：

https://github.com/theomitsa/AI-Architectural-Evaluation

注意：所有图表和绘图均由作者创建。

数据许可信息：CCO：公共领域。

https://creativecommons.org/publicdomain/zero/1.0/