新芽专题介绍(12):图像Raw域去噪
一、专题介绍
1.1 研究背景
随着智能手机、无人机、安防摄像头等便携式成像设备的广泛应用,图像质量提升成为核心需求。然而,由于传感器尺寸小、像素密度高,拍摄条件受光线、曝光时间和传感器噪声等因素影响,得到的图像往往信噪比低、噪声明显。传统的图像去噪方法通常在经过ISP(Image Signal Processing,图像信号处理)后的RGB域中处理图像,但ISP处理会引入非线性映射、色彩失真以及噪声空间复杂化,使去噪变得更加困难。因此,越来越多研究开始关注在Raw域直接去噪,即在图像信号未经过完整ISP处理前,对原始传感器采集的图像进行噪声抑制,以最大程度保留细节和真实信号。
1.2 研究意义
Raw域图像去噪不仅是图像处理领域的基础研究问题,也具有实际工程应用价值:
- 提升图像质量:在拍摄暗光环境、夜景或高速运动场景下,Raw域去噪能够有效提高图像清晰度,降低颗粒感和噪点。
- 推动计算摄影技术:Raw域去噪是高端摄影算法链条中的关键环节,可为HDR成像、超分辨率重建、多帧融合等后续处理提供干净信号。
- 优化移动端成像系统:轻量化、实时的Raw域去噪算法能够兼顾移动设备有限的计算资源和功耗要求,为智能手机、无人机等提供更好的成像体验。
因此,这一研究主题不仅意义重大,而且Raw域去噪涉及噪声建模、深度学习网络设计、非均匀噪声处理等前沿技术,是低级视觉任务的典型研究案例,适合作为本科生或研究生的科研启蒙项目。

▲一个典型的夜间带噪场景:噪声强度大,场景存在色彩偏移。
1.3 当前主要挑战
Raw域图像去噪虽然理论上优势明显,但在实际应用中仍面临多重挑战:
- 挑战一:噪声复杂且非均匀
- Raw域噪声通常由光子噪声、读出噪声、热噪声等多种类型叠加而成。
- 噪声具有空间非均匀性(随着像素强度和ISO变化而变化),使得简单的均值滤波或卷积难以有效处理。
- 挑战二:数据标注困难
- 高质量的Raw域去噪训练需要干净的Ground Truth图像,而真实环境中获取零噪声Raw图像非常困难。
- 合成噪声的方法虽然可行,但噪声分布可能与真实场景不完全匹配,影响模型泛化能力。
- 挑战三:算法与硬件资源限制
- Raw图像通常为高位深度(如12bit或14bit),分辨率高,处理数据量大。
- 实时去噪要求算法既高效又准确,尤其在移动设备和嵌入式系统上,计算资源和功耗有限。
- 挑战四:与ISP链的协同问题
- Raw域去噪需与后续ISP处理协同,否则可能出现颜色偏移、伽马失真等问题。
- 如何设计与ISP解耦或协同优化的去噪算法,是当前研究的重要方向。
综上所述,Raw域图像去噪是低级视觉与计算摄影领域的核心问题,既有理论价值,又有实际应用需求。通过研究Raw域去噪,不仅能够提升图像质量,还能深入理解噪声建模、信号增强与深度学习算法设计的关键技术。
二、学习资料与参考文献
为了引导新芽学子逐步进入研究,本专题结构分为以下四部分:
2.1 基础教材与学习材料
在开始探险之前,你需要掌握一些基础的“内功心法”,这些是后续一切学习的基石。以下是你可以使用的一些书籍/教程:
- 李沐《动手学深度学习》——适合中文初学者的深度学习教材,以及课程系列视频
- 《Deep Learning》(Ian Goodfellow 等)——深度学习入门经典教材
- PyTorch 官方教程,也可以使用 PyTorch 中文文档
- 《Pattern Recognition and Machine Learning》(Christopher M. Bishop)——机器学习原理入门(难度不小)
此外,你也可以使用一些入门工具:
Google Colab:免费云平台,不用安装软件,就能跑PyTorch代码。
Kaggle平台:免费数据集和竞赛
Tips:务必摆脱所有基础都打好后,再进行下一阶段学习的心态,在干中学,遇到不明白的再回溯补基础。
2.2 噪声建模文献
学生第一阶段的阅读训练,可帮助理解噪声建模/噪声参数估计的方法,为后续去噪方法的学习打基础
- LR-MoG: From noise modeling to blind image denoising (CVPR 2016)
- Noise flow: Noise modeling with conditional normalizing flows (ICCV 2019)
- Normalizing Flows: Modeling sRGB Camera Noise with Normalizing Flows (CVPR 2022)
- Gan-based noise model for denoising real images (ACCV 2020)
- CA-NoiseGAN: Learning camera-aware noise models (ECCV 2020)
- Physics-based noise modeling for extreme low-light photography (TPAMI 2021)
- ELD: Physics-based noise modeling for extreme low-light photography (TPAMI 2021)
- LLD: Physics guided iso-dependent sensor noise modeling for extreme low light photography (CVPR 2023)
- SCUNet: Practical Blind Image Denoising via Swin-Conv-UNet and Data Synthesis (MIR 2023)
- Non-parametric sensor noise modeling and synthesis (ECCV 2024)
2.3 去噪入门文献(图像去噪经典方法)
学生了解去噪方法的入门阅读训练,可帮助理解图像去噪中的经典方法。
- Image denoising using scale mixtures of Gaussians in the wavelet domain (TIP 2003)
- Image denoising via sparse and redundant representations over learned dictionaries (TIP 2006)
- Non-local sparse models for image restoration (ICCV 2009)
- BM3D: Image denoising by sparse 3-D transform-domain collaborative filtering (TIP 2007)
- NL-means: A non-local algorithm for image denoising (CVPR 2005)
- CSR: Sparsity-based image denoising via dictionary learning and structural clustering (CVPR 2011)
- WNNM: Weighted nuclear norm minimization with application to image denoising (CVPR 2014)
- MC-WNNM: Multi-channel weighted nuclear norm minimization for real color image denoising (ICCV 2017)
2.4 去噪进阶文献(图像去噪前沿方法)
帮助同学了解图像去噪的前沿算法,学生可在此部分选择进阶文献进行专题汇报。
- Trainable nonlinear reaction diffusion: A flexible framework for fast and effective image restoration (TPAMI 2016)
- DnCNN: Beyond a gaussian denoiser: Residual learning of deep cnn for image denoising (TIP 2017)
- FFDNet: Toward a fast and flexible solution for cnn-based image denoising (TIP 2018)
- RIDNet: Real image denoising with feature attention (CVPR 2019)
- SAD-Net: Spatial adaptive network for single image denoising (ECCV 2020)
- CBDNet: Toward convolutional blind denoising of real photographs (CVPR 2019)
- DANNet: Dual adversarial network: Toward real-world noise removal and noise generation (ECCV 2020)
- Swinir: Image restoration using swin transformer (ICCV 2021)
- DPIR: Plug-and-play image restoration with deep denoiser prior (TPAMI 2021)
- GRL: Efficient and explicit modelling of image hierarchies for image restoration (CVPR 2023)
- Restormer: Efficient transformer for high-resolution image restoration (CVPR 2022)
- Lg-bpn: Local and global blind-patch network for self-supervised real-world denoising (CVPR 2023)
- CLIPDenoising: Transfer CLIP for Generalizable Image Denoising (CVPR 2024)
- Positive2Negative: Breaking the Information-Lossy Barrier in Self-Supervised Single Image Denoising (CVPR 2025)
2.5 图像Raw域去噪
结合本专题的研究背景和前面知识的铺垫,逐渐引导学生进入图像Raw域去噪。
- SID: Learning to See in the Dark (CVPR 2018)
- Unprocessing images for learned raw denoising (CVPR 2019)
- K-sigma: Practical deep raw image denoising on mobile devices (ECCV 2020)
- Rethinking noise synthesis and modeling in raw denoising (ICCV 2021)
- SCI: Toward fast, flexible, and robust low-light image enhancement (CVPR 2022)
- Lan: Lightweight attention-based network for raw to-rgb smartphone image processing (CVPR 2022)
- Learning srgb-to-raw-rgb de-rendering with content-aware metadata (CVPR 2022)
- RAW-to-sRGB: Learning raw-to-srgb mappings with inaccurately aligned supervision (ICCV 2021)
- LRD: Towards general low-light raw noise synthesis and modeling (ICCV 2023)
- LED: Lighting every darkness in two pairs: A calibration free pipeline for raw denoising (ICCV 2023)
- Learn ability enhancement for low-light raw image denoising: A data perspective (TAPMI 2023)
- Dnf: Decouple and feedback network for seeing in the dark (CVPR 2023)
- CycleR2R: Efficient visual computing with camera raw snapshots (TPAMI 2024)
- Noise Modeling in One Hour: Minimizing Preparation Efforts for Self-supervised Low-Light RAW Image Denoising (CVPR 2025)
三、结语与期望
“新芽计划”的初心,是点燃新芽学子对未知探索的热情,并为大家提供一片成长的沃土。图像 Raw 域去噪 是一个兼具挑战与价值的研究方向,它既直面真实成像系统中的复杂噪声问题,又为智能视觉应用的高质量输入奠定坚实基础。希望通过这个专题,新芽学子们不仅能够深入理解 成像原理与噪声建模,掌握前沿的 深度学习与优化方法,更能在动手实践中培养出 批判性思维、创新能力与解决实际问题的本领。
我们热切期待,在最终的汇报中,能看到大家对 Raw 域去噪问题的独到见解,以及闪耀着智慧光芒的创新实践!