SQ, PQ, or PRQ: how do they compress vectors in Milvus HNSW? HNSW can deliver high recall, but its ...

Milvus on X: "SQ、PQ 或 PRQ：它们如何在 Milvus HNSW 中压缩向量？HNSW 能实现高召回率，但其全精度向量和分层图结构会消耗大量内存。Milvus 提供了 HNSW_SQ、HNSW_PQ 和 HNSW_PRQ 来压缩图构建和距离计算中使用的向量。每种方法对向量的编码方式不同： • SQ 对每个维度进行量化。SQ8 和 SQ6 每个维度使用 8 位和 6 位，范围独立估计。SQ4U 使用 4 位无符号值和一个共享的统一范围。 • PQ 将向量拆分为子向量。每个子向量通过码本索引表示。 • PRQ 以 PQ 为基础，分阶段对残差误差进行编码。它在初始近似基础上保留了更多信息，但需要额外的训练、构建和距离计算成本。所有三种量化索引变体都使用相同的 HNSW 框架，但量化可能会影响构建时连接的向量以及检索时候选向量的排序方式。它们还可以使用更高精度的优化重新排序候选向量，从而潜在提升召回率，但会增加计算、存储和内存成本。要比较 SQ、PQ 和 PRQ，首先设定召回率目标，然后加载后测量内存占用、吞吐量和构建时间（包括达到目标所需的任何优化成本）。"

Milvus

@milvusio

SQ、PQ 或 PRQ：它们如何在 Milvus HNSW 中压缩向量？HNSW 能实现高召回率，但其全精度向量和分层图结构会消耗大量内存。Milvus 提供了 HNSW_SQ、HNSW_PQ 和 HNSW_PRQ 来压缩图构建和距离计算中使用的向量。每种方法对向量的编码方式不同： • SQ 对每个维度进行量化。SQ8 和 SQ6 每个维度使用 8 位和 6 位，范围独立估计。SQ4U 使用 4 位无符号值和一个共享的统一范围。 • PQ 将向量拆分为子向量。每个子向量通过码本索引表示。 • PRQ 以 PQ 为基础，分阶段对残差误差进行编码。它在初始近似基础上保留了更多信息，但需要额外的训练、构建和距离计算成本。所有三种量化索引变体都使用相同的 HNSW 框架，但量化可能会影响构建时连接的向量以及检索时候选向量的排序方式。它们还可以使用更高精度的优化重新排序候选向量，从而潜在提升召回率，但会增加计算、存储和内存成本。要比较 SQ、PQ 和 PRQ，首先设定召回率目标，然后加载后测量内存占用、吞吐量和构建时间（包括达到目标所需的任何优化成本）。

3:30 PM · Oct 5, 2026

·

172

Views

1