论文标题:HVI: A New Color Space for Low-light Image Enhancement
DOI:https://doi.org/10.48550/arXiv.2502.20272
代码地址:https://github.com/Fediory/HVI-CIDNet
收录:CVPR2025
研究背景
在光照不足条件下拍摄的图像通常存在亮度不足、对比度低、细节模糊及噪声干扰等问题,通过 LLIE(低光图像增强)算法可以使其更接近人眼在正常光照下的感知效果,满足后续视觉任务(如目标检测、语义分割)的高质量输入需求。
LLIE 算法主要面临以下难点:
- 光照不足导致的细节丢失:低光图像中暗部区域信息模糊,难以恢复真实细节。
- 噪声干扰:在增强亮度时,图像噪声(如高斯噪声、椒盐噪声)会被放大,影响视觉质量和算法鲁棒性。
- 动态范围限制:相机传感器在低光下的动态范围有限,导致图像过暗或过亮区域失真。
- 色彩失真:增强过程中可能破坏图像原有的色彩平衡,出现色偏或伪影。
颜色空间
常见的 LLIE 算法多基于 sRGB 空间或者 HSV 空间。
sRGB(Standard Red Green Blue)即标准红、绿、蓝颜色空间,代表算法有 ZeroDCE、EnlightenGAN。缺点是亮度与 RGB 三通道色彩强耦合(high color sensitivity),牵一发而动全身,在增强的过程中容易导致失真,比如调整亮度引发颜色偏移,优化颜色导致亮度失真。
HSV(Hue Saturation Value)即色相、饱和度、明度颜色空间,代表算法有 RetinexNet、CoLIE。缺点是虽然解耦了亮度与色彩,但同时引入了红色不连续噪声和黑色平面噪声,这两种噪声会在以红色为主或极暗图像的增强过程中产生严重的伪影。
YCbCr,即亮度轴(Y)+反射色平面(CbCr)。Y 轴仍与 CbCr 平面存在部分耦合,从而导致严重的色偏。
HVI(Horizontal/Vertical-Intensity)
HVI 是基于 HSV 优化而来,其核心是确保相似颜色具有更小的欧氏距离,通过两大技术解决 HSV 噪声问题:
- 一是极化 HS 映射,通过极坐标约束红色坐标距离,来消除红色不连续噪声。
- 二是可学习压缩函数 C_k,动态压缩低光区域的强度分布,来消除黑色平面噪声。
极化 HS 映射
首先根据 Max-RGB 理论计算每个像素的 Intensity,构建 I-map,这里可以反映图像的全局光照水平。
然后根据 I-map,可以计算出 S-map 和 H-map。
这里不难发现,在 HSV 空间中,红色在色相端点(h=0和h=6)上间断,进而导致增强后出现红色不连续噪声。因此我们只需要将色相轴 h 极化,将其映射到两个新的正交分量 h=cos(πh/3)、v=sin(πh/3),即可使得红色在 h-v平面连续。
C_k 函数
针对黑色平面噪声问题,需要缩小低光区域的同时保留高光区域。但是,这个压缩程度在不同的数据集和网络中是不同的。因此,这里就需要一个可信息的自适应的压缩函数 C_k。
其中,k是一个可训练参数,用于控制暗色点密度;ε=10^(-8) 避免根号里为0,用于避免梯度爆炸。
本质上,C_k 起到半径映射函数的作用,较小的 C_k 对应较小的半径或较低的强度值。因此,随着 C_k 的减小,暗色点会聚集在一起。
最后整合色彩与强度信息,定义水平 图和垂直 图为:
其中,h∈H,v∈V,⨀ 表示元素级乘法。、、I_max 可以拼接形成 HVI 图像。
CIDNet(Color and Intensity Decoupling Network)
即颜色和强度解耦网络,用于分别对 HVI 空间中的 HV 平面和 I 轴信息进行建模。
CIDNet 整体分为三个步骤——HVI 变换、双分支增强网络、感知逆 HVI 变换(PHVIT)。
首先通过 HVI 变换将 sRGB 图像映射到 HVI 颜色空间,有效分离亮度与色彩,得到 Intensity Map 和 HV Color Map。
随后在 HVI 空间中通过双分支网络进行增强,其中 HV 分支用来抑制暗部的噪声和色度,利用 I 分支来估计整个图像的照度,进行亮度增强。两分支通过 LCA 模块进行交互,避免全局色偏。
最后通过感知逆 HVI 变换(PHVIT)将增强结果映射回 sRGB 空间,得到无色偏、无伪影的增强图像。
可以看到,中间这个双分支网络基于 Unet 架构构建,包含1个编码器和1个解码器,有3个下采样层和3个上采样层,每层都配备了1个轻量交叉注意力(LCA)模块,以及多个跳跃连接。
这样的设计打破了单分支自注意力局限,利用 “光照与噪声负相关” 特性,引导 HV-branch 针对性降噪(高光区少降噪、低光区多降噪),同时将 HV-branch 降噪后的信息反馈给 I-branch,避免亮度过度增强。
双分支分别优化色彩与强度,LCA 模块实现特征互导,确保色彩降噪与亮度增强同步优化,避免各自为战导致的色偏或亮度伪影。
损失函数
为了对 CIDNet 的训练提供全面监督,我们从两个关键角度指导增强过程,包括 sRGB 空间中的真实值(GroundTruth)和 HVI 空间中的 HVI 图。
其中,λ 是一个加权超参数,用于平衡两个不同颜色空间中的损失。
该设计以双空间混合框架打通 “低光噪声抑制” 与 “像素细节保留” 的协同路径,以多损失项组合覆盖 “客观误差 - 结构 - 边缘 - 感知” 的全维度监督需求。
数据集
采用了七个常用的低光图像增强基准数据集进行评估,包括 LOLv1、LOLv2、DICM、LIME、MEF、NPE 和 VV。(DICM、LIME、MEF、NPE 和 VV 为非配对数据集)
同时还在两个极端数据集上进行了进一步的实验,分别是 SICE(包含混合测试集和梯度测试集)和 SID(索尼全暗)。
实验效果
HVI插件
HVI 作为插件使用,显著提升 SOTA 算法性能。
消融实验
总结
- 实验证明 HVI + CIDNet 在 10 个数据集上超越现有 SOTA 方法,同时参数量小(1.88M)且计算量低(7.57 GFLOPs);
- 跨方法泛化:HVI 与不同网络架构兼容,可将其作为插件模块使用,能解决各类方法的共性噪声问题;
- 跨任务泛化:HVI 不仅适用于 LLIE,还可扩展至低光去模糊、图像降噪,证明其在低层级视觉任务中的通用价值。
不足
- 未探索比正弦函数更优的 C_k 表达式;
- 未验证 HVI 在目标检测、分割等高层视觉任务的适用性;
- 仅采用监督训练,未探索无监督或半监督范式。