夜间感知新突破！北航等提出红外主导的高效目标检测方案 | ECCV'26
TL;DR · AI 摘要
北航团队提出InfraNet，通过红外主导和质量感知机制，在夜间等复杂场景下提升目标检测性能，LLVIP数据集上YOLOv8 IR-only达68.8mAP。
核心要点
- InfraNet在LLVIP数据集上IR-only模式实现68.8mAP，优于RGB-IR融合模式。
- QualGate模块可自适应抑制退化RGB特征对红外表示的干扰。
- 框架支持IR-only部署，避免RGB在低照度场景下的噪声污染。
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- InfraNet：红外主导目标检测
- 核心思想
- IR-centric设计
- 质量感知机制
- 模块设计
- QualGate模块
- 双形态部署
- 实验结果
- LLVIP: 68.8mAP
- FLIR-Aligned: 88.1mAP50
金句 / Highlights
值得收藏与分享的关键句。
RGB图像在低照度场景下可能成为噪声源，污染红外特征表示。
InfraNet通过IR-centric设计，使红外分支作为主路径完成检测。
在LLVIP数据集上，IR-only模式YOLOv8达到68.8mAP，优于RGB-IR融合。
**新智元报道**
##### 【新智元导读】在复杂视觉场景中，红外目标检测至关重要。传统方法依赖RGB与红外融合，但RGB在低照度或恶劣天气下可能退化，影响检测效果。北航等团队提出InfraNet，以红外为主，利用质量感知机制控制RGB引导，提升鲁棒性。
在夜间感知、安防监控、无人机巡检与自动驾驶等复杂视觉场景中，红外目标检测具有重要应用价值。
传统RGB-IR多模态检测方法通常默认RGB与红外信息互补，并在训练和推理阶段同时融合两种模态。然而，在低照度、雾天、强逆光等真实场景下，RGB图像可能严重退化，不但难以提供有效补充，反而可能将噪声引入红外表示，造成检测性能下降。
针对这一问题，Beihang University等机构提出一种面向高效红外目标检测的质量感知RGB引导框架InfraNet。
InfraNet采用IR-centric设计，将红外分支作为主路径，RGB分支作为训练阶段的可靠性受控辅助信号，并提出QualGate模块自适应抑制不可靠RGB引导、补偿红外特征。
论文链接：https://arxiv.org/abs/2607.03795
基于该框架，InfraNet同时支持RGB-IR双模态推理和IR-only单模态部署。
在LLVIP、FLIR-Aligned、M3FD和DroneVehicle四个RGB-IR检测基准上，InfraNet取得强竞争力结果，其中LLVIP上YOLOv8 RGB-IR达到70.5mAP、IR-only达到68.8 mAP，FLIR-Aligned上YOLOv5 RGB-IR达到89.5 mAP50、IR-only达到88.1 mAP50，DroneVehicle上YOLOv12-IR达到84.7 AP50和63.9mAP。
该工作表明，在复杂环境感知中，多模态学习不应只是无条件融合更多信息，更关键的是让模型学会判断何时相信RGB、何时回到更稳定的红外模态。
RGB一定有帮助吗？ RGB-IR多模态目标检测的直觉很自然：RGB图像提供颜色、纹理和空间细节，红外图像提供热辐射信息，二者结合应当比单一模态更稳健。
但在真实复杂环境中，这个假设并不总成立。RGB图像高度依赖环境光。在夜间、雾天、强光、低照度或雨雪场景下，RGB可能出现严重噪声、过暗、过曝和结构缺失。此时，如果模型仍然把RGB与IR当作同等可靠的输入进行融合，退化RGB特征可能会污染红外表示，导致误检和漏检。
换句话说，RGB并不总是「增强信息」，有时也可能成为噪声源。
InfraNet让红外做主 InfraNet的核心思想是IR-centric：让红外分支作为主路径，负责提取多尺度红外特征并完成检测；RGB分支则作为训练阶段的辅助路径，为红外表示学习提供可靠性受控的跨模态引导。
这与传统RGB-IR对称融合不同。传统方法通常要求训练和推理阶段都同时输入RGB与IR，而InfraNet不把RGB视作必须依赖的推理模态，而是将其作为训练期辅助信息。这样，模型可以在训练时学习RGB中有价值的结构线索，但在部署时不一定被RGB绑定。
基于这一思想，InfraNet包含两种形态：
- InfraNet-IR：训练时使用RGB辅助红外分支学习，推理时移除RGB分支和融合模块，只使用红外图像完成检测。
- InfraNet-RGB-IR：训练和推理阶段都使用RGB与IR，适合双模态传感器均稳定可用的场景。
QualGate什么时候相信/抑制RGB InfraNet的关键模块是QualGate，不是简单地将RGB和IR特征相加，而是学习一个与检测任务相关的可靠性控制信号，用来调节RGB对红外分支的影响。
当RGB特征可靠时，QualGate允许其提供更多跨模态引导；当RGB特征退化时，QualGate会降低RGB贡献，避免噪声传播到红外表示中。同时，QualGate会增强IR特征，使模型在RGB不可靠时更加依赖稳定的红外信息。
具体来看，QualGate包含两个互补方向：
- RGB suppression：抑制不可靠RGB引导，减少低质量RGB带来的负迁移。
- IR amplification：补偿并增强红外特征，使红外主路径在复杂环境下保持稳定。
这使得InfraNet关注的不是RGB图像在视觉上是否「好看」，而是RGB特征对当前检测任务是否真正有帮助。
实验结果 论文在LLVIP、FLIR-Aligned、M3FD和DroneVehicle四个RGB-IR检测数据集上进行了系统实验，覆盖行人检测、车载热成像、多场景检测和无人机车辆检测等任务。
这些结果说明，InfraNet 不只是构建了一个更复杂的双模态融合模型，更重要的是验证了「训练时利用 RGB，推理时可只用红外」的有效性。对于真实部署场景来说，这一点很关键：红外传感器在夜间和恶劣天气中通常更加稳定，而 RGB 图像质量会随光照条件大幅波动。
在 M3FD 可视化结果中，InfraNet-IR 在不同照明条件下能够产生更紧凑的检测框和更少的误检。相比部分传统融合方法，InfraNet-IR 在 RGB 退化场景中仍能保持较稳定的定位能力。
进一步的特征可视化表明，InfraNet-IR 能够产生更目标对齐的响应，并减少背景区域激活。这说明训练阶段的质量感知 RGB 引导可以帮助红外分支学习更稳健的表示，而部署阶段仍然保持 IR-only 推理。
多模态学习不只是「融合更多信息」 InfraNet 的意义不只是提升红外目标检测指标，更在于重新审视多模态学习中的模态关系。
传统多模态方法通常强调如何融合更多信息，但真实世界中的传感器并不总是可靠。
RGB 可能因为夜间、眩光、雾天或设备问题退化；不同模态也可能出现缺失、不同步或质量不一致。因此，一个鲁棒的多模态感知系统，不仅要学会利用多模态信息，也要学会拒绝不可靠模态。
InfraNet 的思路正是如此：当 RGB 可靠时，利用它帮助红外表示学习；当 RGB 不可靠时，抑制它对检测过程的干扰；当部署环境更适合红外时，则允许模型只使用红外图像完成推理。
对于自动驾驶、无人机巡检、夜间安防和智慧交通等场景，这种「质量感知、红外主导、部署灵活」的设计提供了一种更贴近真实复杂环境的红外目标检测方案。
参考资料：
https://arxiv.org/abs/2607.03795
编辑：LRST
秒追ASI⭐点赞、转发、在看一键三连⭐点亮星标，锁定新智元极速推送！