新芽专题介绍(12):图像Raw域去噪

一、专题介绍

1.1 研究背景

随着智能手机、无人机、安防摄像头等便携式成像设备的广泛应用,图像质量提升成为核心需求。然而,由于传感器尺寸小、像素密度高,拍摄条件受光线、曝光时间和传感器噪声等因素影响,得到的图像往往信噪比低、噪声明显。传统的图像去噪方法通常在经过ISP(Image Signal Processing,图像信号处理)后的RGB域中处理图像,但ISP处理会引入非线性映射、色彩失真以及噪声空间复杂化,使去噪变得更加困难。因此,越来越多研究开始关注在Raw域直接去噪,即在图像信号未经过完整ISP处理前,对原始传感器采集的图像进行噪声抑制,以最大程度保留细节和真实信号

1.2 研究意义

Raw域图像去噪不仅是图像处理领域的基础研究问题,也具有实际工程应用价值:

  1. 提升图像质量:在拍摄暗光环境、夜景或高速运动场景下,Raw域去噪能够有效提高图像清晰度,降低颗粒感和噪点。
  2. 推动计算摄影技术:Raw域去噪是高端摄影算法链条中的关键环节,可为HDR成像、超分辨率重建、多帧融合等后续处理提供干净信号。
  3. 优化移动端成像系统:轻量化、实时的Raw域去噪算法能够兼顾移动设备有限的计算资源和功耗要求,为智能手机、无人机等提供更好的成像体验。

因此,这一研究主题不仅意义重大,而且Raw域去噪涉及噪声建模、深度学习网络设计、非均匀噪声处理等前沿技术,是低级视觉任务的典型研究案例,适合作为本科生或研究生的科研启蒙项目。

▲一个典型的夜间带噪场景:噪声强度大,场景存在色彩偏移。

1.3 当前主要挑战

Raw域图像去噪虽然理论上优势明显,但在实际应用中仍面临多重挑战:

  1. 挑战一:噪声复杂且非均匀
    • Raw域噪声通常由光子噪声、读出噪声、热噪声等多种类型叠加而成。
    • 噪声具有空间非均匀性(随着像素强度和ISO变化而变化),使得简单的均值滤波或卷积难以有效处理。
  2. 挑战二:数据标注困难
    • 高质量的Raw域去噪训练需要干净的Ground Truth图像,而真实环境中获取零噪声Raw图像非常困难。
    • 合成噪声的方法虽然可行,但噪声分布可能与真实场景不完全匹配,影响模型泛化能力。
  3. 挑战三:算法与硬件资源限制
    • Raw图像通常为高位深度(如12bit或14bit),分辨率高,处理数据量大。
    • 实时去噪要求算法既高效又准确,尤其在移动设备和嵌入式系统上,计算资源和功耗有限。
  4. 挑战四:与ISP链的协同问题
    • Raw域去噪需与后续ISP处理协同,否则可能出现颜色偏移、伽马失真等问题。
    • 如何设计与ISP解耦或协同优化的去噪算法,是当前研究的重要方向。

综上所述,Raw域图像去噪是低级视觉与计算摄影领域的核心问题,既有理论价值,又有实际应用需求。通过研究Raw域去噪,不仅能够提升图像质量,还能深入理解噪声建模、信号增强与深度学习算法设计的关键技术。


二、学习资料与参考文献

为了引导新芽学子逐步进入研究,本专题结构分为以下四部分:


2.1 基础教材与学习材料

在开始探险之前,你需要掌握一些基础的“内功心法”,这些是后续一切学习的基石。以下是你可以使用的一些书籍/教程

此外,你也可以使用一些入门工具

Tips:务必摆脱所有基础都打好后,再进行下一阶段学习的心态,在干中学,遇到不明白的再回溯补基础。


2.2 噪声建模文献

学生第一阶段的阅读训练,可帮助理解噪声建模/噪声参数估计的方法,为后续去噪方法的学习打基础

2.3 去噪入门文献(图像去噪经典方法)

学生了解去噪方法的入门阅读训练,可帮助理解图像去噪中的经典方法

2.4 去噪进阶文献(图像去噪前沿方法)

帮助同学了解图像去噪的前沿算法,学生可在此部分选择进阶文献进行专题汇报。

  • Trainable nonlinear reaction diffusion: A flexible framework for fast and effective image restoration (TPAMI 2016)
  • DnCNN: Beyond a gaussian denoiser: Residual learning of deep cnn for image denoising (TIP 2017)
  • FFDNet: Toward a fast and flexible solution for cnn-based image denoising (TIP 2018)
  • RIDNet: Real image denoising with feature attention (CVPR 2019)
  • SAD-Net: Spatial adaptive network for single image denoising (ECCV 2020)
  • CBDNet: Toward convolutional blind denoising of real photographs (CVPR 2019)
  • DANNet: Dual adversarial network: Toward real-world noise removal and noise generation (ECCV 2020)
  • Swinir: Image restoration using swin transformer (ICCV 2021)
  • DPIR: Plug-and-play image restoration with deep denoiser prior (TPAMI 2021)
  • GRL: Efficient and explicit modelling of image hierarchies for image restoration (CVPR 2023)
  • Restormer: Efficient transformer for high-resolution image restoration (CVPR 2022)
  • Lg-bpn: Local and global blind-patch network for self-supervised real-world denoising (CVPR 2023)
  • CLIPDenoising: Transfer CLIP for Generalizable Image Denoising (CVPR 2024)
  • Positive2Negative: Breaking the Information-Lossy Barrier in Self-Supervised Single Image Denoising (CVPR 2025)

2.5 图像Raw域去噪

结合本专题的研究背景和前面知识的铺垫,逐渐引导学生进入图像Raw域去噪。


三、结语与期望

“新芽计划”的初心,是点燃新芽学子对未知探索的热情,并为大家提供一片成长的沃土。图像 Raw 域去噪 是一个兼具挑战与价值的研究方向,它既直面真实成像系统中的复杂噪声问题,又为智能视觉应用的高质量输入奠定坚实基础。希望通过这个专题,新芽学子们不仅能够深入理解 成像原理与噪声建模,掌握前沿的 深度学习与优化方法,更能在动手实践中培养出 批判性思维、创新能力与解决实际问题的本领

我们热切期待,在最终的汇报中,能看到大家对 Raw 域去噪问题的独到见解,以及闪耀着智慧光芒的创新实践!