信息驱动的成像系统设计

信息驱动的成像系统设计

URL 源：http://bair.berkeley.edu/blog/2026/01/10/information-driven-imaging/

Markdown 内容：

一个编码器（光学系统）将物体映射到无噪声的图像，这些图像被噪声干扰后成为测量值。我们的信息估计器仅使用这些有噪声的测量值和噪声模型来量化测量值区分物体的能力。

许多成像系统产生的测量值人类从未看到或无法直接解释。你的智能手机在生成最终照片之前会通过算法处理原始传感器数据。磁共振成像（MRI）扫描仪收集频率空间的测量值，在医生能够查看之前需要进行重建。自动驾驶汽车直接使用神经网络处理摄像头和激光雷达（LiDAR）数据。

在这些系统中，重要的是不是测量值看起来如何，而是它们包含多少有用的信息。即使信息以人类无法理解的方式编码，人工智能也可以提取这些信息。

然而，我们很少直接评估信息内容。传统的指标如分辨率和信噪比分别评估质量的不同方面，使得在不同因素之间进行权衡的系统难以比较。常见的替代方法是训练神经网络来重建或分类图像，这混淆了成像硬件的质量与算法的质量。

我们开发了一个框架，可以根据其信息内容直接评估和优化成像系统。在我们的 NeurIPS 2025 论文 中，我们展示了这个信息指标可以预测四个成像领域的系统性能，并且优化它会产生与最先进的端到端方法相当的设计，同时需要更少的内存、更少的计算资源，并且不需要特定任务的解码器设计。

为什么选择互信息？

互信息量化了测量值能减少关于产生它的物体的不确定性程度。两个具有相同互信息的系统在区分物体的能力上是等效的，即使它们的测量值看起来完全不同。

这个单一数字捕捉了分辨率、噪声、采样以及其他影响测量质量的因素的综合效果。一个模糊且有噪声的图像如果保留了区分物体所需的特征，可能比一个清晰但丢失这些特征的图像包含更多的信息。

信息统一了传统上分开的质量指标。它同时考虑噪声、分辨率和光谱灵敏度，而不是将它们视为独立因素。

以前尝试将信息论应用于成像面临两个问题。第一种方法将成像系统视为不受约束的通信信道，忽略了透镜和传感器的物理限制。这导致了非常不准确的估计。第二种方法需要对所成像的物体进行显式建模，限制了通用性。

我们的方法通过直接从测量值中估计信息来避免这两个问题。

从测量值中估计信息

从高维变量中估计互信息是非常困难的。样本需求随着维度的增加呈指数增长，估计值也受到高偏差和方差的影响。

然而，成像系统具有使这一难题分解为更简单子问题的特性。互信息可以表示为：

I(X;Y)=H(Y)−H(Y∣X)

第一个项 H(Y) 测量来自物体差异和噪声的测量值总变化。第二个项 H(Y∣X) 测量仅来自噪声的变化。

互信息等于总测量变化与仅噪声变化之间的差值。

成像系统具有明确的噪声特性。光子散粒噪声遵循泊松分布。电子读出噪声是高斯分布。这种已知的噪声物理特性意味着我们可以直接计算 H(Y∣X)，只剩下 H(Y) 需要从数据中学习。

对于 H(Y)，我们将概率模型（例如变压器或其他自回归模型）拟合到测量数据集。该模型学习所有可能测量的分布。我们测试了三种模型，涵盖了效率-准确性权衡：一个静态高斯过程（最快），一个完整高斯模型（中间），以及一个自回归 PixelCNN（最准确）。该方法提供了真实信息的上限；任何建模误差只会高估，而不会低估。

在四个成像领域的验证

如果信息估计捕捉了真实系统的限制，它们应该能预测解码器的性能。我们在四种成像应用中测试了这种关系。

信息估计能预测解码器在彩色摄影、射电天文学、无透镜成像和显微镜中的性能。更高的信息量在下游任务中始终产生更好的结果。

彩色摄影。 数码相机使用滤光阵列来编码颜色，每个像素只能检测特定波长。我们比较了三种滤光设计：传统的拜耳模式、随机排列和学习得到的排列。信息估计正确地排出了哪些设计会产生更好的色彩重建，与神经网络去马赛克的结果一致，而无需任何重建算法。

射电天文学。 望远镜阵列通过结合全球各地站点的信号来实现高角分辨率。选择最佳望远镜位置在计算上是难以处理的，因为每个站点的价值都依赖于其他所有站点。信息估计预测了不同望远镜配置的重建质量，从而可以在不进行昂贵的图像重建的情况下进行站点选择。

无透镜成像。 无透镜相机用光调制掩模替代传统光学系统。它们的测量结果与场景没有视觉上的相似性。信息估计预测了在不同噪声水平下，通过镜头、微透镜阵列和扩散器设计的重建准确性。

显微镜。 LED阵列显微镜使用可编程照明生成不同的对比模式。信息估计与神经网络在从细胞图像中预测蛋白质表达的准确性之间存在相关性，从而可以在不进行昂贵的蛋白质标记实验的情况下进行评估。

在所有情况下，更高的信息量意味着更好的下游性能。

使用IDEAL设计系统

信息估计不仅可以评估现有系统，还可以用于优化成像系统参数。我们的信息驱动编码器分析学习（IDEAL）方法通过对信息估计进行梯度上升来优化成像系统参数。

_IDEAL通过基于信息估计的梯度反馈来优化成像系统参数，而无需使用解码器网络。_

计算成像设计的标准方法是端到端优化，它联合训练成像硬件和神经网络解码器。这需要对整个解码器进行反向传播，导致内存限制和潜在的优化困难。

IDEAL通过仅优化编码器来避免这些问题。我们在彩色滤光片设计中进行了测试。从随机的滤光片排列开始，IDEAL逐步改进了设计。最终结果在信息内容和重建质量方面与端到端优化相当。

_IDEAL在训练过程中避免了解码器复杂性，同时保持了端到端优化的性能。_

意义

基于信息的评估为在真实条件下对成像系统的严格评估创造了新的可能性。当前的方法要么需要主观的视觉评估，要么需要在部署时不可用的地面真实数据，或者使用孤立的指标，这些指标无法全面反映系统能力。我们的方法仅从测量中提供了一个客观且统一的指标。

IDEAL的计算效率表明，可以设计出以前难以处理的成像系统。通过避免解码器的反向传播，该方法减少了内存需求和训练复杂性。我们在后续工作中更详细地探讨了这些能力。

该框架可能超越成像领域，扩展到其他传感领域。任何可以建模为具有已知噪声特性的确定性编码的系统都可以从基于信息的评估和设计中受益，包括电子、生物和化学传感器。

• * *

_本文基于我们发表在NeurIPS 2025上的论文“信息驱动的成像系统设计”。代码可在GitHub上获取。项目网站上有视频摘要project website。_