用于相机应用的GPU RAW处理器

我们为原始图像/视频处理提供高质量的GPU加速解决方案，具有非常高的性能-比实时速度快得多。 现在可以通过在NVIDIA GPU上实现整个RAW图像处理管道。 这既适用于机器视觉相机应用的实时任务，也适用于数字影院应用中的离线原始到RGB处理.

GPU上RAW图像处理的优势

• 高速原始渲染
• 高质量的去拜耳
• 实时自适应去噪
• 具有16/32位工作流的灵活图像处理流水线
• 流畅的原始视频播放与全分辨率（无屏幕撕裂）
• 在OpenGL输出到监视器之前实时调整大小（无混叠）
• 在线RGB游行和直方图输出
• 软件输出：用于监控的处理图像，每帧8位JPEG或16位TIFF
• 具有所需分辨率的H264/H265流到SSD

我们在GPU上实现了完整的图像处理流水线，以加快原始数据工作流程的每个阶段。 这为我们提供了显着缩短PCIE总线数据传输时间并提高总体性能的机会。 与此同时，输出图像质量与Adobe Camera Raw（ACR），LightRoom和Raw Therapee软件相当。

GPU原始处理器的特点

• 输入图像：每像素8-16位RAW，PGM，cpu/GPU内存中的字节数组
• 图像系列的输出格式：JPEG(24位)、PPM(48位)、TIFF(24/48位)、EXR(48位)
• 视频输出格式:AVI(运动JPEG),MP4,MOV(苹果ProRes)
• 输出颜色空间:sRGB,Rec.709，Rec.2020,AdobeRGB,ProPhoto,BMD Film,BMD Film4K,BMD Film4.6K
• 具有16位流水线的快速去马赛克算法：L7，DF PD，MG
• 亮度和色度的去噪算法（浮动工作流）：小波、双边、NLM
• 调整大小算法：Lanczos（浮动工作流）
• 使用USM锐化（浮动工作流程）
• 通过OpenGL实时播放处理过的原始图像

兼容性

• Windows-10/11 (64-bit)
• CUDA-12.6 (64-bit)
• NVIDIA GPU（Volta，图灵，安培，Ada）用于移动，笔记本电脑，台式机，服务器
• 与FFmpeg兼容读/写MJPEG流（FFmpeg在LGPLv2.1下）

相机支持GPU上的RAW处理工作流程

• Kinefinity cameras: KINEMINI 4K, KINEMAX 6K, KINERAW-MINI (Full HD), KINERAW-S35 (Full HD)
• AJA CION 4K/UHD and 2K/HD Production Camera
• DJI Zenmuse X5R camera for Mavic, Phantom, Inspire, Matrice drones
• Digital Bolex D16 and D16M
• Atomos Ninja Shogun
• Ikonoskop
• XIMEA 8/12/20/50/65 MPix
• Basler
• IO Industries Redwood with Euresys grabber
• Emergent Vision 10/25/50/100-GigE cameras
• Daheng Imaging
• Mindvision
• Hikrobot

GPU上原始处理器的图像处理管道

• 从HDD/SSD摄取RAW图像
  • 从SSD到CPU内存的原始帧的多线程读取
  • 原始解析
  • 可选的原始解包或解码
• 从CPU到GPU的数据传输
• 数据线性化并转换为16位表示
• 暗帧减法和平场校正
• 原始历史
• 白/黑点
• 白平衡(R,G1,G2,B)
• 曝光补偿
• Bayer数据每个通道的原始色调曲线
• 原始去噪
• 演示,演示
• 自适应噪声抑制
• 颜色相关温度和色调控制
• 使用CCM矩阵或DCP配置文件进行色彩校正
• 色调映射（每个通道的RGB/HSV曲线）
• 处理图像的直方图和RGB游行
• 监视器输出
  • 作物/作物
  • 调整为输出窗口的指定宽度和高度
  • 尖锐与USM
  • 使用监视器配置文件转换
  • 每个颜色通道的LUT16位至8/10位
  • 将数据复制到OpenGL纹理
  • 通过OpenGL实时监视器输出（原始视频播放器）
  • 原始数据和处理数据的直方图输出
  • RGB游行输出
  • 矢量示波器输出
• 压缩视频输出
  • 作物/作物
  • 调整为全高清
  • 尖锐与USM
  • 每个颜色通道的LUT16位至8/10位
  • 原生MJPEG压缩
  • Apple ProRes422LT,422,422HQ,4444,4444XQ的可选本机编码
  • 通过FFmpeg到MP4的外部压缩
  • 从GPU到CPU内存的数据传输
  • 将压缩视频保存到SSD/HDD
• 图像序列输出
  • 每帧数据转换为16位TIFF或8位JPEG
  • 从GPU到CPU内存的数据传输
  • 将图像序列保存到SSD/HDD

NVIDIA GeForce RTX4090的基准测试

GPU GeForce RTX4090上具有4k分辨率的12位RAW图像的标准图像处理流水线可以以高达60fps的帧速率完成（原始和处理数据驻留在CPU内存中，无需去噪和USM）. 在这里你可以找到更多关于 基准.

Gpu上实时输出压缩的选项

• JPEG/MJPEG编解码器
• JPEG2000/J2K编解码器

使用GPU原始处理器解决的标准任务

• RAW图像序列的批量图像处理
• 使用原始数据实时全帧渲染、压缩、预览和播放视频流
• 8-16位拜耳格式工业相机的全图像处理流水线

GPU原始处理器工作流示例

• 从相机或读卡器将视频素材上传到计算机（PC）
• 创建新项目并导入RAW图像
• 使用GPU原始处理器进行原始图像处理
• 原始视频播放器
• 导出JPEG（8/24位）或TIFF（16位）文件
• 导出为Motion JPEG或H.264/H.265/AV1

有用的链接和下载:

• 用于机器视觉相机的FastVCR软件