GPU RAW 处理器:面向相机应用的 RAW 转 RGB 流水线
更新日期:
GPU RAW 处理器是我们在 NVIDIA GPU 上实现的完整 RAW 转 RGB 处理方案:从 RAW 解析、线性化到去马赛克、颜色校正、色调映射与编码输出的每个阶段,都以 16/32 位工作流在 CUDA 中运行。输出画质可媲美 Adobe Camera Raw、Lightroom 与 RawTherapee — 而速度是这些工具无法企及的:在离线处理中,GPU 流水线的处理速度已超过 SSD 的数据供给能力;同一方案也可在机器视觉相机中实时运行。
详细基准数据。测得结果发布在我们的基准页面:全部基准(英文)。
受成像团队信赖
“Fastvideo SDK 快如闪电……我们现在能在 10 分钟内处理完 28,800 张图像的序列,而过去需要 10 小时。”
一条流水线,两种产品
本页所述方案由我们的 GPU 图像与视频处理 SDK 模块构建,并以两种开箱即用的形式提供。用于离线工作 — 主要是数字电影与录制素材的批量处理 — 它以 Fast CinemaDNG Processor 应用实现,支持 TIFF/EXR/ProRes 导出,并内置实时 RAW 视频播放器。用于实时相机处理,它几乎完整地实现在面向机器视觉相机的 FastVCR 软件中,支持录制与低延迟 RTSP 流式传输。而对于定制应用,相同模块可直接从 SDK 获取,因此您能精确搭建任务所需的流水线。
在 GPU 上处理 RAW 的优势
为什么在 GPU 上处理 RAW 图像?
- 整条流水线都在 GPU 内存中:数据仅在进出时各通过 PCIe 总线传输一次,这正是「快于实时」渲染成为可能的原因
- 在灵活的 16/32 位工作流中进行高质量去马赛克与自适应去噪
- 输出画质可媲美 Adobe Camera Raw、Lightroom 与 RawTherapee
- 全分辨率 RAW 视频流畅播放,无画面撕裂
- 显示输出前的实时缩放(无锯齿)
- 用于监看的实时直方图、RGB Parade 与矢量示波器
- 逐帧图像输出(JPEG、TIFF、EXR)与视频输出(MJPEG、H.264/H.265、ProRes)
GPU RAW 处理器的特性
- 输入:CPU/GPU 内存中的 8–16 位 RAW、PGM 或字节数组
- 图像序列输出:JPEG(24 位)、PPM(48 位)、TIFF(24/48 位)、EXR(48 位)
- 视频输出:AVI(Motion JPEG)、MP4、MOV(Apple ProRes)
- 输出色彩空间:sRGB、Rec.709、Rec.2020、Adobe RGB、ProPhoto、BMD Film、BMD Film 4K、BMD Film 4.6K
- 16 位流水线的去马赛克算法:L7、DFPD、MG
- 亮度与色度去噪(浮点工作流):小波、双边、NLM
- 缩放:Lanczos(浮点工作流);锐化:USM(浮点工作流)
- 通过 OpenGL 实时回放处理后的图像
- 可选导出到 Apple ProRes 422 LT / 422 / 422 HQ / 4444 / 4444 XQ — Apple 基于 CPU 的编解码器,用于离线工作流
GPU 上的图像处理流水线
- 从 HDD/SSD 导入 RAW 图像
- 多线程将 RAW 帧从 SSD 读入 CPU 内存
- RAW 解析;可选 RAW 解包或解码
- 数据从 CPU 传输到 GPU
- 数据线性化并转换为 16 位格式
- 暗场扣除与平场校正
- RAW 直方图
- 白点/黑点
- 白平衡(R、G1、G2、B)
- 曝光补偿
- 拜耳数据各通道的 RAW 色调曲线
- RAW 去噪
- 去马赛克
- 自适应噪声抑制
- 相关色温与色调(tint)控制
- 基于 CCM 矩阵或 DCP 配置文件的颜色校正
- 各通道的 RGB/HSV 曲线
- 色调映射
- 已处理图像的直方图与 RGB Parade
- 显示器输出
- 裁剪、缩放到输出窗口、USM 锐化
- 应用显示器配置文件进行色彩转换;各色彩通道 16 位到 8/10 位 LUT
- 复制到 OpenGL 纹理并实时输出至显示器(RAW 视频播放器)
- 直方图、RGB Parade 与矢量示波器输出
- 压缩视频输出
- 裁剪、缩放、USM 锐化;每通道 16 位到 8/10 位 LUT
- GPU 上的原生 MJPEG 压缩
- 可选原生编码为 Apple ProRes(CPU)
- 通过 FFmpeg 外部压缩为 MP4
- 传输到 CPU 内存并保存到 SSD/HDD
- 图像序列输出
- 逐帧转换为 16 位 TIFF 或 8 位 JPEG
- 传输到 CPU 内存并保存到 SSD/HDD
性能
对于离线处理,真正的瓶颈不是 GPU — 而是存储。在 NVIDIA GeForce RTX 4090 上,12 位 4K RAW 图像的完整流水线端到端最高可达 60 fps,包含从 SSD 的多线程读取,原始数据与已处理数据均驻留在 CPU 内存中(不含去噪与 USM)。GPU 各阶段本身远快于此 — 去马赛克、去噪与其他 SDK 模块(英文)的逐模块数据已发布 — 因此更快的存储可直接转化为更高的吞吐量。完全在 GPU 内存中运行、去除存储环节时,同一流水线在 RTX 4090 上以约 60 fps 处理一帧 65 MPix 图像 — 此时的极限是 GPU 而非磁盘。
相机支持
对于离线处理,相机支持取决于文件格式而非厂商:流水线接受来自任意来源的 RAW、PGM 与 DNG/CinemaDNG 素材 — 电影相机、无人机与工业相机均可。对于实时处理,流水线可与 FastVCR 支持的相机配合使用:XIMEA(USB3 与 PCIe)、Hikrobot(USB3 与 GigE)(英文)、Emergent Vision(10/25/50/100-GigE)、NVIDIA Jetson 上的 MIPI CSI2 相机(英文),以及来自 Basler、Imperx、FLIR、Lucid、IO Industries、Daheng Imaging、MindVision 等厂商的 GenICam(GenTL)兼容相机。
典型任务与工作流
- 图像序列的批量 RAW 转 RGB 处理:从相机或读卡器导入 RAW 素材,在 GPU 上处理,导出 JPEG/TIFF/EXR 序列或 MJPEG、H.264/H.265、ProRes 视频
- RAW 视频流的实时全帧渲染、压缩、预览与播放
- 面向 8–16 位拜耳数据工业相机的完整图像处理方案
- RAW 视频播放器:对未处理素材进行流畅的全分辨率播放,并实时应用完整流水线
兼容性
- 操作系统:Windows 10/11(64 位);Linux 版本开发中
- CUDA 12.6
- 支持移动端、笔记本、桌面与服务器的 NVIDIA GPU(Pascal、Volta、Turing、Ampere、Ada)
- 与 FFmpeg 兼容,用于读写 MJPEG 流(FFmpeg 采用 LGPL v2.1)
下载与相关软件
- Fast CinemaDNG Processor — 本流水线面向 Windows 的离线实现
- FastVCR 便携演示版 — 实时实现;也可处理 SSD 上的 RAW/PGM 帧,无需相机
- Fastvideo SDK — 用于您自己应用的相同模块,演示程序可应需提供
常见问题
什么是 GPU RAW 处理器?
它是在 NVIDIA GPU 上实现的完整 RAW 转 RGB 流水线 — 从 RAW 解析、线性化,经去马赛克、颜色校正、色调映射,到编码输出的每个阶段,都以 16/32 位工作流在 CUDA 中运行。其提供形式包括离线版 Fast CinemaDNG Processor、实时版 FastVCR 软件,以及 Fastvideo SDK 模块。
GPU 上的 RAW 处理有多快?
完全在 GPU 内存中运行时,流水线在 NVIDIA GeForce RTX 4090 上以约 60 fps 处理一帧 65 MPix 图像;完整的磁盘到磁盘工作流针对 12 位 4K 端到端最高可达 60 fps,此时的极限是 SSD 读写而非 GPU — 参见基准测试方法(英文)。
画质与 Adobe Camera Raw 相比如何?
输出画质可媲美 Adobe Camera Raw、Lightroom 与 RawTherapee:16/32 位浮点工作流,配合高质量 MG 去马赛克与小波、双边及 NLM 去噪,通过 CCM 矩阵或 DCP 配置文件进行颜色校正,以及色调映射。
支持哪些相机与 RAW 格式?
对于离线处理,它接受来自任意来源的 RAW、PGM 与 DNG/CinemaDNG 素材 — 电影、无人机或工业相机。对于实时处理,它可与 FastVCR 支持的相机配合使用:XIMEA、Hikrobot、Emergent Vision、NVIDIA Jetson 上的 MIPI CSI2,以及 GenICam 兼容型号。
能否试用?
可以。下载离线的 Fast CinemaDNG Processor 或 FastVCR 便携演示版(后者也能处理 SSD 上的 RAW/PGM 帧,无需连接相机);SDK 模块可应需提供。
GPU RAW 处理器路线图
GPU RAW 处理器构建于 Fastvideo SDK 之上并经多年打磨;其最新更新(2026)新增了 ALTMapper 色调映射、低延迟 ISP,以及 GPU NLM 与双边去噪。以下为最近新增内容与当前进行中的工作。
已发布:
- ALTMapper(英文) — 用于单帧 HDR 的自适应局部色调映射引擎
- CUDA 上的低延迟 ISP
- GPU 上的 NLM 与双边去噪器
- 高光恢复算法
进行中:
- GPU RAW 处理器的 Linux 版本
- 带自标定的 RAW 域色差去除(英文)
- 用于有损压缩与解压缩的 RawZipper 编解码器

