PRX Part 4: Our Data Strategy

PRX 第4部分：我们的数据策略

返回文章

[0

团队

]

文章

发布于2026年7月6日

[-1

点赞

4

[

Roman Frigg

photoroman

关注

Photoroom

David Bertoin

Bertoin

Jon Almazán

jon-almazan

欢迎回来！这是PRX系列的第4部分。前3部分涵盖了模型架构、训练设计和24小时速通。这一次我们将揭开幕后的重要部分：数据。在塑造PRX质量的所有因素中，数据管道是最不引人注目的部分之一，但却是必须正确构建的关键环节。以下是我们的实践、改进方向以及仅能通过缓慢学习获得的经验。

用一句话概括：我们从公共和内部数据集中收集训练数据，使用VLM重新生成图像描述，并将结果转化为用于训练PRX的可流式处理语料库。

从宏观角度看，数据管道的结构如下：

在下文中我们将详细展开。

1. 指导原则

用于预训练的多样化数据集

我们的目标是构建一个大规模且多样化的预训练数据集。在这个阶段，模型正在学习世界的样貌：视觉概念、物体和场景、事物的构成与光照方式，以及图像内容的广泛范围。这是一个覆盖范围和多样性的挑战，而非单张图像的完美度问题。一个广泛且具有代表性的语料库能让模型更深入地理解视觉世界的结构，即使其中许多图像只是普通快照或轻微压缩的图片。在这个阶段过度筛选美学因素反而有害，会限制分布范围，导致模型丢失后续无法恢复的概念和组合多样性。让生成结果看起来精致是后续阶段的独立任务，我们将通过在精心筛选的小数据集上进行微调和偏好对齐来处理。预训练追求广度；微调追求品质。

多源数据混合

我们从公共和内部数据集混合来源构建预训练数据。此阶段的优先级是广度、多样性以及利用现有整理成果而非重复劳动。当数据源已包含质量过滤、去重以及NSFW内容和个人信息过滤时，我们会在此基础上构建而非大规模重复处理。数据源形式多样：有些直接包含图像数据，有些则以元数据和基础描述形式存在，我们需要将其统一为标准格式。我们采取了务实的方法：没有从零开始构建语料库，而是借助现有数据集和内部工具快速完成组装。回顾来看，这未必是能构建的绝对最佳数据集，但为训练7B模型提供了坚实且轻量的起点。

我们的描述生成理念

在我们的实践中，预训练最关键的是使用能够准确描述图像中所有内容的长描述。我们在第2部分中直接观察到了这一点，将短描述切换为长描述后，样本质量显著提升。如果描述是忠实的，我们无需担心图像中偶尔出现的截图、广告、标志或文字，因为这些内容也会在描述中被提及，模型会将它们学习为受控的、可调节的属性，而不是无条件地复制它们。精确的描述能够将“噪声”转化为可以通过提示控制或消除的内容。这正是我们后续过滤过程刻意保持宽松的原因：我们只移除真正无法使用的数据，而不是所有不完美的数据。

数据格式

我们已经使用Mosaic Streaming和Mosaic Data Shards（MDS）作为分布式训练的数据格式有一段时间了。结合Mosaic Composer，我们发现这是一个维护成本低、灵活且性能优异的分布式训练框架。此外，MDS数据集可以轻松高效地混合和洗牌，并且可以直接从S3或GCS等对象存储进行分布式训练。

然而，MDS数据集的结构非常固定。添加一列或为特定筛选条件创建子集基本上意味着需要扫描并重写整个数据集。因此，我们使用Lance来进行此类特征工程和数据集整理。Lance是一种列式数据格式，具有低成本的谓词下推、标量索引和向量搜索功能，是构建和探索数十亿行数据集的正确工具。

在这篇博文和PRX数据管道中，这两种格式相互配合：Lance用于构建，MDS用于流式传输。

关于文本潜变量

在之前的训练运行中，我们使用T5Gemma作为文本编码器，并预先计算了文本潜变量，以字节形式存储在MDS中。这次在切换到Qwen3-VL作为文本编码器后，我们决定在训练过程中实时计算文本潜变量。在训练循环中运行文本编码器会降低吞吐量，但具体影响取决于模型规模：对于小型去噪器来说影响可能显著，但在PRX的7B规模下，文本编码器的计算量相对于去噪器可以忽略不计，我们实际测量到的吞吐量损耗仅为约3-4%（在30天的训练中仅增加约1天时间）。作为回报，我们获得了两个优势。跳过预计算使我们的MDS分片体积大幅减小，小到足以存储在SLURM集群基于SSD的共享文件系统中，而无需从对象存储通过网络流式传输整个预训练数据集。此外，这使我们能够在未来更改文本编码器时无需重写数TB的存储潜变量，这正是我们在转向Qwen3-VL时所做的调整。

关于图像编码

我们将所有图像以质量92的JPEG格式进行编码，而非使用PNG等无损格式。我们并非简单假设质量92是安全的，而是通过实测验证。现实中的图像通常已经过多次JPEG压缩，因此真正的问题是：再次编码是否会造成损害？在对高分辨率（1–2 MP）和低分辨率（0.25–0.5 MP）的真实图像进行多次解码/编码循环测试后，首次以质量92进行重新编码几乎完全不可察觉。后续每次循环带来的影响微乎其微，因为JPEG格式会迅速收敛到稳定状态。即使经过10次循环，图像仍保持在不可察觉的范围内，而使用PNG格式则会使文件大小增加3–10倍，却没有任何感知质量的提升。在质量92下对100张图像进行平均测试，并与原始图像对比（PSNR越高、LPIPS越低越好）：

图像分辨率

1×后的PSNR（dB）↑

1×后的LPIPS↓

10×后的PSNR（dB）↑

10×后的LPIPS↓

1–2 MP

48.7

0.004

45.4

0.008

0.25–0.5 MP

45.1

0.005

42.2

0.010

由于大多数源图像本身已为JPEG压缩格式，将其以无损方式存储为PNG带来的优势有限，因此我们选择以高质量（质量92）的JPEG格式进行统一转换。

我们还验证了最关键的问题：使用JPEG图像进行训练是否会影响模型输出。由于我们的语料库本身主要由JPEG组成，PNG唯一可能的优势是避免引入新的伪影。我们特意从高分辨率源图像中进行对比测试，因为即使原始图像为JPEG格式，在高分辨率下也通常携带较少伪影。我们使用相同图像在1024px分辨率下训练了两个完全相同的PRX模型，一个使用PNG存储，另一个使用质量92的JPEG存储。两个模型在我们的评估指标上表现相当，其生成结果在视觉上几乎无法区分，包括通过匹配量化表的已知技术估算输出JPEG质量时：

训练模型使用的格式

检测率

平均估计JPEG质量

中位数估计JPEG质量

JPEG（质量92）

12.0%

39.6

34.0

PNG

10.8%

42.1

45.0

检测率是指生成结果中发现任何量化结构的比例。平均和中位数估计的JPEG质量仅针对被标记的图像进行计算。两个模型在视觉上几乎无法区分：无论是使用哪种格式训练，每10个生成结果中只有约1个显示出可检测的量化结构，且差异微小到足以确认训练图像格式对输出质量的影响可以忽略不计。因此，高质量JPEG存储在源图像已携带的信息基础上没有可测量的额外影响。对于大规模文图生成训练来说，这已经绰绰有余。对于需要训练其他Photoroom模型（如我们的自定义AI阴影模型）的敏感伪影数据，我们仍依赖PNG格式。

2. 使用Lance构建数据集

你无法交互式探索包含数亿甚至数十亿行的Parquet表。因此我们将数据存储在Lance中，从而实现索引、查询和浏览。我们使用Ray Data进行数据导入，以并行方式读取源表，并在集群中跨节点写入多个Lance表片段。

一个值得分享的经验教训是关于碎片化的问题。Lance 表被分割为多个碎片，某些操作的扩展性取决于碎片总数而非行数：扫描操作需要打开每个碎片的文件，部分元数据操作的时间复杂度为 O(碎片数量)。如果表被分割成过多的小碎片，无论表的实际规模如何，查询速度都会变得很慢。Lance 的性能指南建议保持碎片数量较低（即使是十亿行的表，碎片数量通常也应控制在数百个级别），并定期运行合并操作将小碎片合并为更大的碎片。

我们是通过缓慢的实践才认识到这一点的。最初的数据导入设置每个碎片仅包含 10 万行，导致产生数千个微小碎片，即使简单的过滤或全文查询也变得异常缓慢。在将每个碎片的行数上限调整到约 100 万行后（对于数亿行的表来说，这意味着大约有 1000 个碎片），查询速度显著提升，我们此后便不再为此担忧。合适的碎片目标取决于行宽、查询模式以及数据写入方式，回顾来看，更少但更大的碎片可能是一个更好的默认设置。Lance 支持分布式合并（例如通过 Lance-Ray 集成），因此事后调整相对容易，但一开始就避免过度碎片化仍是更优的选择。

现有的标题和嵌入用于探索

我们选择自行重新生成每张图片的标题，而非依赖某些数据集自带的标题。原因在于一致性：不同来源的数据在标题长度、风格和质量上差异很大，我们希望在整个语料库中建立统一的标准（有关标题生成器的更多细节请参见第 3 节）。

不过，数据集原本携带的元数据仍然具有价值，只是用途不同。已有标题以及有时伴随其出现的向量嵌入（例如 CLIP 嵌入）使得数据集在 Lance 中可以立即进行探索：对标题进行全文搜索，或对嵌入列进行最近邻搜索，这些功能让我们在自行生成标题之前就能快速评估数据质量并判断所需的过滤条件。因此我们保留了这些信息，在它们存储于独立表时将其合并，并依赖它们实现下文描述的浏览功能。

数据剖析与探索

当数据可被查询后，我们能够迅速对其进行剖析。例如，分辨率分布帮助我们确定了截断阈值。我们最小的训练桶为 512² 像素，将超分辨率到桶的上限设为 4/3（约 33%），因此实际截断阈值为 384² ≈ 147k 像素且宽高比在 [0.5, 2.0] 范围内。所有低于该阈值的数据都会被丢弃。

Lance 表原生支持对文本列进行全文搜索，以及对向量嵌入列进行最近邻相似性搜索，通过构建索引可以加速这两种操作。我们为标题和嵌入列都构建了索引，随后开发了一个小型界面用于浏览数据集：支持对标题进行实时文本搜索，并通过向量搜索导航视觉相似的图片集群。

通过这种方式浏览数据，使我们能够定性地评估其多样性和质量，并通过简单查看数据就能及早发现问题。我们发现了缺乏信息量的基础描述，令人惊讶的大量非摄影内容（截图、幻灯片、文档、信息图表），以及一些几乎重复的图像。这些观察结果直接影响了后续流程的设计：对所有内容重新生成描述（更长、更准确的描述能够很好地描述甚至不完美的图像，并确保描述与我们训练时使用的精确图像匹配），并在后续增加轻量级过滤和去重环节。总体而言，我们认为这种探索工具在投入数据集之前了解其特性方面具有不可替代的价值。

3. 使用VLM对所有内容进行重新标注

我们发现，长而详细的描述对输出质量具有显著影响。在早期基准测试中，我们使用相同图像训练了小型扩散模型两次，一次使用Qwen2.5-VL-7B生成的描述，另一次使用较短的描述（由LLaVA-1.5-LLaMA3-8B生成），并在训练过程中对两者进行评估。Qwen2.5-VL-7B生成的长描述在所有指标上均表现更优，每个检查点的FID、CMMD和DINO-MMD值均更低（数值越低越好）。

使用Qwen2.5-VL-7B描述（红色）训练的小型扩散模型与基线LLaVA-1.5-LLaMA3-8B描述（蓝色）的对比，每10k步进行一次评估，直至100k步。所有三项指标中数值越低越好。

最终指标（约100k步）：

| 描述来源 | FID ↓ | CMMD ↓ | DINO-MMD ↓ | |------------------|-------|--------|------------| | Qwen2.5-VL-7B | ≈13 | ≈0.32 | ≈0.22 | | LLaVA-1.5-LLaMA3-8B | ≈21 | ≈0.52 | ≈0.35 |

以下是一张示例图像，包含我们生成的长描述（由VLM生成）以及用作基线的较短描述：

我们的描述生成流程基于Ray Data构建为流式处理管道：从Lance读取数据，对每张图像进行预处理，在GPU上生成描述，并将描述写入新列以便后续查询和过滤。我们提示模型生成一个完整的、视觉基础明确的段落，而非单行描述。

选择描述生成模型

紧张的时间表和有限的资源使我们无法对不同描述模型和系统提示进行大量消融实验。

我们使用以下提示生成描述：

系统提示：

您是专精于生成高度详细、视觉基础描述的图像字幕生成模型。请撰写一段约100-200字的连贯段落，精确描述给定图像。字幕应以自然散文形式书写，避免使用项目符号、标题或标注章节。仅描述图像中可见内容，不进行推测、意图解读或超出视觉证据的假设。描述需自然融合以下要素：图像类型；主体和物体的外观、材质、颜色、形状及细节；位置和空间关系（左右、前景/背景、深度、重叠、比例、构图）；构图与布局（居中、平衡、负空间、透视、视角）；光照与色彩搭配；当视觉线索支持时的风格/美学特征；以及任何可见文本的精确转录，并说明其是否属于场景内容或图形叠加（水印/UI）。不要翻译或解读文本。保持中立、精确、描述性的语气。避免重复、隐喻、情感投射或叙述性修饰。目标是生成密集、准确、视觉忠实的字幕。

用户提示：

为这张图像撰写字幕。

我们筛选出三个VLM作为候选描述生成器：

• Qwen2.5-VL-7B-Captioner-Relaxed（针对字幕生成微调）
• Qwen3-VL-8B
• Qwen3.5-9B

我们通过间接方式评估字幕质量：针对每种字幕变体，我们训练了一个小型扩散模型进行100,000次迭代，并使用FID、CMMD和DINO-MMD对生成结果进行评分。在三个候选模型之外，我们还评估了两个参考字幕生成器，以将此比较与首次基准测试关联：基准测试中使用的基线Qwen2.5-VL-7B（与上述基准测试中的模型相同）以及我们之前为这里使用的100万张图像内部测试集生成的一组Gemini 1.5 Flash字幕。Gemini字幕长度相近，但使用了不同的提示（其他所有模型均使用上述系统提示），因此其表现曲线仅具参考价值而非直接对比。

三个候选字幕生成器和两个参考字幕生成器在训练过程中的FID、CMMD和DINO-MMD指标，每10,000次迭代进行一次评分，直至100,000次迭代。所有指标数值越低越好。

字幕生成器 | FID | CMMD | DINO-MMD --- | --- | --- | --- Qwen2.5-VL-7B-Captioner-Relaxed | 13.95 | 0.306 | 0.185 Qwen3-VL-8B（我们的选择） | 10.98 | 0.351 | 0.182 Qwen3.5-9B | 10.51 | 0.278 | 0.162 Qwen2.5-VL-7B（参考） | 15.86 | 0.393 | 0.285 Gemini 1.5 Flash（参考） | 13.46 | 0.316 | 0.234

在候选模型中，Qwen3.5-9B在所有三个指标上表现最佳，Qwen3-VL-8B在FID和DINO-MMD指标上紧随其后（但CMMD指标稍弱），而Relaxed字幕生成器在FID指标上落后但其他指标具有竞争力。最明确的结论是，基线Qwen2.5-VL-7B——与首次基准测试中击败基线的相同模型——现在是五个模型中最弱的，这正是我们没有继续使用它的原因：经过字幕优化或更新的模型确实能带来可衡量的提升。（Gemini 1.5 Flash处于中游水平，但需注意其使用了不同提示的限制。）

我们更重视质量而非吞吐量，但在处理数亿张图片时，吞吐量仍然很重要，因为它决定了生成字幕的成本。我们仅对三个候选方案进行了吞吐量测试，所有测试均通过 vLLM 实现，未使用量化或自定义内核。调优是在流水线层面进行的：每个 GPU 对应一个 vLLM 实例，配置足够的 Ray Data 工作线程以保持节点上所有 8 块 GPU 的饱和运行。我们首先发现 Qwen3-VL-8B 是最快的（每块 H200 20 张图片/秒），并选择它，因为其速度、质量以及稳定、生产级的 vLLM 支持。后来我们才发现 Qwen2.5-VL "Relaxed" 字幕生成器在修复后也能达到相同的 20 张图片/秒性能：它被错误地保存为不兼容的架构类，导致 vLLM 的 torch.compile 哈希失效，被迫使用低效的 eager 模式，直到我们将其重新保存为 Qwen2_5_VLForConditionalGeneration。Qwen3.5-9B 虽然能生成优秀的字幕，但运行速度较慢（约 6.5 张图片/秒），且当时需要不稳定的夜间构建依赖。几个月后，它可能也是一个很好的选择。

4. 编写 Mosaic 数据分片

在流水线的最后阶段，我们将带有字幕的分桶数据流转换为 MDS 格式，这是训练器使用的格式。

MDS 是什么，以及我们为何选择它而非 Lance

Mosaic Streaming 库将样本打包成约 128MB 的分片，在训练期间从对象存储或本地文件系统中流式传输。Lance 也支持简单的分布式训练，但我们将转换为 MDS 作为更低摩擦的路径。Mosaic Streaming 为我们免费提供了分布式训练所需的基础设施：

• 确定性、可恢复的洗牌：提供多种算法选择，在洗牌质量与主机内存消耗之间取得平衡。

• 弹性中止检查点恢复：可以更改节点/进程数量并从中断处恢复，无需重新处理或跳过样本。

• 多流加权混合：在保持洗牌和恢复保证的前提下，按指定比例混合不同数据集/子集。

分辨率 + 宽高比分桶

扩散训练使用固定大小的张量，因此每批图像必须共享相同的宽高。我们不采用统一裁剪（会丢失人像和风景的边缘）或填充（浪费计算资源），而是使用宽高比分桶：定义一组允许的 (w, h) 形状，每张图像匹配最近的形状，并仅将相同形状的图像打包在一起。

分桶分为两个步骤。首先按分辨率层级（像素数量）：大部分数据集使用 512px 和 1024px 层级，高分辨率数据使用 2048px 和 4096px 层级。图像分配到其能到达的最大层级（放大不超过 4/3 (~33%)），每个层级的下限为 (size × 3/4)²（512 层级为 384²，1024 层级为 768²）；低于最低下限的图像会被丢弃。然后在层级内按宽高比分桶：我们列举出与补丁对齐的 (w, h) 形状（均能被 16 整除，宽高比在 [0.5, 2.0] 之间），保持约 256 个补丁的恒定 token 预算，每个层级有 13 个桶，从 0.5（竖直）到 1.0（正方形）再到 2.0（宽屏）。在 512px 层级，尺寸为 352×704 … 512×512 … 704×352；在 1024px 层级则为相同比例的放大版本。恒定补丁数量使不同形状的图像计算量保持一致。

每张图像随后使用 Lanczos 滤镜调整到其对应的桶大小，并以质量 92 的 JPEG 编码，Mosaic 数据分片按分辨率和宽高比写入树状结构，以便训练器可以分别流式传输各个桶：

/

output_dir/
  512/
    0.500/  shard.00000.mds, ...
    ...
    1.000/  ...
    ...
    2.000/  ...
  1024/
    0.500/  ...
    1.000/  ...

5. 数据过滤

第2节的探索依赖于数据集自带的任何字幕。当我们的详细字幕准备就绪后，相同的全文搜索变得强大得多，通过几次字幕扫描发现了原始稀疏元数据隐藏的内容：比我们预估的更多文本密集型图像（截图、幻灯片、文档、信息图表），以及一些未被发现的NSFW内容。

为了将这些近似搜索转化为过滤器，我们使用Qwen3-8B的纯文本模式快速进行了一次分类：它读取每个字幕（从不读取图像本身），并标记样本为视觉、文本或NSFW。这个启发式方法本质上只问一个问题："你会看这张图像，还是阅读它？" 从字幕而非像素进行分类成本低廉（每GPU约200字幕/秒），并复用了我们之前的工作。像素级图像分类器可能更准确，但这种方法足以在适度成本下移除明显案例，而无需标注数据和训练自定义分类器。

我们没有重写整个语料库来剔除这些样本，而是为MDS数据加载器添加了跳过列表功能：每个分片的附属小文件列出需要跳过的样本索引，加载器在训练时将它们合并并跳过这些样本。没有任何内容被删除或重写。结果证明这是一个灵活的机制，远超这个单一过滤器的用途。我们可以通过在下一次运行前扩展跳过列表，轻松排除任何事后识别的样本集合，无论是新发现的质量问题、黑名单，还是重要的是，后来选择退出其内容用于训练的用户的数据。这种方法对消融实验也很方便：要衡量过滤器的效果，只需从同一数据集上分别用跳过列表和不用跳过列表训练一次，而无需存储两个副本。唯一的限制是规模。跳过列表在加载时会增加少量的每样本工作量，因此当跳过比例变得很大（我们估计大约10%左右，尽管尚未测量临界点）时，重写不含跳过样本的MDS数据集将比维护不断增长的跳过列表更有价值。

6. 去重

相同的探索发现了相当数量的重复项：大型图像集合往往积累精确复制和近似重复的副本，这会浪费训练计算资源并扭曲分布。我们主要针对近似重复和精确复制，因此添加了基于感知哈希的快速去重步骤。如果目标是识别重复概念并在数据集中平衡它们，基于图像嵌入聚类的去重方法可能更合适。

我们本可以使用SHA-256等字节哈希进行精确去重，但感知哈希已经涵盖了这一点（它也能匹配字节完全相同的图像），同时还能捕获重新编码或调整大小的副本，因此我们只使用了感知哈希。这是一个标准的基于DCT的感知哈希（将图像缩小到小灰度缩略图，进行2D DCT，将低频系数阈值化为紧凑指纹），在OpenCV和SciPy之上用几行代码实现。我们认为两个哈希匹配当它们的汉明距离为零时，因此我们只移除近像素相同的副本。同一主体的不同拍摄角度会有不同的指纹（和不同的字幕），并有意保留。

一旦每张图像都拥有感知哈希（指纹），去重过程就简化为哈希表查找：我们跨分辨率扫描每个宽高比桶，对每个指纹只保留一个条目，因此任何指纹已被记录的图像都会被视为重复项。当某个集群跨分辨率存在时，我们保留最高分辨率的副本。重复项会被写入每个分片的跳过列表，加载器在加载时会合并并跳过这些列表，因此不会删除任何内容，数据集也永远不会被重写。

在整个语料库中，去重操作移除了大约百分之几的图像，基于字幕的文本过滤器又移除了百分之几，而NSFW过滤器移除了极小比例（小数点后几位）的图像。

下一步计划？

本文描述的数据集是预训练语料库，其中广度和规模最为关键。对于监督微调和偏好对齐，问题的优先级完全反转：质量远比数量重要，挑战转变为如何从这个大规模语料库中找到并整理出小规模、高信息量的子集。为此我们正在构建更强大的筛选工具，包括一个功能更丰富的探索器，该工具能通过视觉语言模型预测的结构化属性对图像进行标记，从而帮助我们组装高度针对性的子集用于微调。我们计划在未来的文章中深入探讨微调、偏好对齐以及用于这些任务的数据工具。

使用PRX构建项目或发现我们流水线中的错误？PRX采用Apache 2.0协议，模型代码托管在github.com/Photoroom/PRX。我们已将PRX集成到diffusers库中，并提供了Hugging Face Space用于体验最新版本PRX Pixel。

来Discord与我们交流扩散模型和数据相关话题吧。

参考资料

工具

• Lance

• Mosaic Streaming (MDS)

• Ray Data

• vLLM

模型

• Qwen2.5-VL-7B-Instruct

• LLaVA-1.5-LLaMA3-8B

• Qwen2.5-VL-7B-Captioner-Relaxed

• Qwen3-VL-8B-Instruct

评估指标

• FID (Heusel 等, 2017)

• CMMD, "Rethinking FID" (Jayasumana 等, 2024)

• DINOv2 (Oquab 等, 2023)，DINO-MMD背后的功能

PRX

• PRX模型代码

• PRX Pixel模型

• PRX Pixel演示（Hugging Face Space）

本文提及的模型 7

本文提及的空间 1

本文提及的集合 1

更多来自该作者的文章

PRX 第三部分 —— 24小时内训练文本到图像模型！

68

2026年3月3日

文本到图像模型的训练设计：从消融实验中获得的经验教训

77

2026年2月3日

社区

编辑

预览

通过拖拽文本输入框、粘贴或

点击此处

上传图片、音频和视频。

点击此处上传图片

评论

· 注册或登录以发表评论