XIMEA相机GPU上的FastVCR低延迟软件

西美亚公司是一家着名的相机制造商,成绩斐然. 该公司提供超紧凑和高品质的产品,具有各种分辨率,帧速率,带宽,USB3和PCIe接口,光谱灵敏度,图像传感器和硬件平台。 XIMEA相机可以提供高性能的PCI-Express接口,这大大提高了带宽,使高分辨率和高fps相机的实时应用成为可能。

FastVCR软件

您可以使用他们的Cam工具软件测试任何XIMEA相机,但它仅用于相机测试或低fps应用。 为了克服这一限制,我们开发了一个基于GPU的软件与XIMEA相机一起工作,以实现最大的性能和最高的图像质量在实时低延迟。 您可以下载该软件并使用可用的XIMEA相机(8/10/12位raw单色或拜耳)进行测试。

为什么我们需要高性能的ximea相机软件?

如果我们看看第四代最新的索尼普里吉乌斯图像传感器,它们中的大多数都有"高速"版本,这意味着这些图像传感器不仅分辨率高,而且帧速率高,与第二代索尼图像传感器相比,这一版本翻了一番。 带有这些图像传感器的XIMEA相机配备了高速USB3或PCIe接口,因此它们能够以最大带宽捕获获取的帧。

这不仅适用于索尼图像传感器,Pixel和AMS(CMOS)的情况也是如此。 现代机器视觉相机提供高分辨率和高fps,因此以高质量和不掉帧的方式执行实时处理是一项相当复杂的任务。 这正是我们可以用运行在NVIDIA GPU(移动/笔记本电脑/台式机/服务器)上的FastVCR软件做的。 在我们的流水线中,我们将高质量的去马赛克与其他图像处理模块结合在一起,以考虑色彩科学和高性能要求。

机器视觉摄像机实时捕获高质量图像,因此可用于工业和医疗应用、流媒体和广播、数字影院、3D、AR和VR。

XIMEA相机

xiv和xiX相机系列

xiC是为Sony Pregius™图像传感器系列设计的极其多样化和高度模块化的相机系列。 它提供多种组合传感器和接口的选择。 即使它是一个板堆栈,对于系统集成商来说,它具有单板设计的所有好处,并且非常小。

xiX相机基于相同的板级概念,可以通过PCI Express Gen2总线上的2通道将图像流式传输到主机。 这些相机具有最小的延迟和CPU负载,非常适合嵌入式视觉和多相机应用。 由于采用扁平柔性布线,板级和半封装的变体允许集成在狭小的空间和相机之间的紧密接近。

用于XIMEA相机控制的FastVCR软件

  • 相机初始化:相机模型,帧分辨率的默认值,fps等.
  • 输入位深度和像素格式
  • 图像分辨率和感兴趣区域(ROI)
  • 帧速率(FPS)
  • 曝光时间
  • 增益
  • 相机带宽
  • 具有"移除过度曝光"功能的自动曝光/增益控制
  • 用于快速更改图像传感器参数的软件预设
  • 可选模式:binning、decimation、dual gain、dual adc等。

FastVCR软件: GPU上的图像处理流水线

  • 图像采集
  • 10位和12位模式的帧解包
  • 图像线性化
  • 暗帧减法(FPN)
  • 平场校正(阴影校正)
  • 坏像素去除
  • 白平衡/AWB
  • 自适应曝光和增益控制
  • MG算法的高质量演示
  • 使用矩阵配置文件或DCP配置文件进行色彩校正
  • 突出恢复
  • 曝光校正(亮度控制)
  • 去噪器:基于小波的,双边的,NLM
  • 旋转到90/180/270度和触发器
  • 作物/作物
  • 调整大小:缩小和高档
  • 旋转到任意角度
  • 通过LCP或通过校准的地图进行反失真
  • 锐化(局部对比度)
  • 伽玛变换
  • SSD上的JPEG压缩和存储
  • 可选转换为NV12和H264/h265/av1编码
  • 自动实时分割AVI/MP4视频文件到指定的文件大小
  • 用于低延迟视频流和广播的内置RTSP服务器
  • 实时输出监控

FastVCR软件输出

  • 通过OpenGL实时监控视频输出
  • 摄影机统计数字
  • 柱状图,游行,矢量图
  • SSD上的图像存储实时处理和JPEG压缩
  • 视频编码到MJPEG(AVI)、H.264/H.265/AV1(MP4)和存储到SSD上的视频容器
  • 通过RTSP实现低延迟视频流(包括播放器和服务器)
  • 用于延迟估计的玻璃到玻璃模块
  • RTSP流与VLC和我们自己的视频播放器兼容
  • SSD上的实时原始/PGM数据存储
  • 与基于GPU的第三方Sdk的互操作性
  • 在GPU级别与基于GPU的AI库和应用程序的互操作性

FastVCR软件 性能基准

该软件是基于GPU图像处理的思想构建的,能够在高性能相机应用程序中工作。 这正是XIMEA为其USB3和Ees接口的产品提供的。 对于USB3相机,该软件可以与多相机系统一起工作,实时处理所有相机的原始帧,而不会丢帧。 尽管如此,由于其带宽,PCIe相机仍可实现最大性能。 快速VCR软件可以在NVIDIA GeForce RTX4090上处理来自65MPix相机(9344×7000,8位/70fps或10位/60fps)的RAW图像,该管道包括RAW导入,RAW到RGB转换,色彩校正,JPEG编码,存储到SSD。 这只是一个可以显示性能水平的用例,这是非常高的。 一般来说,性能取决于图像处理流水线的复杂性和使用的硬件(CPU/GPU/SSD等)。 您可以从下面的链接下载演示软件,以测试您的XIMEA相机,并评估图像质量,延迟和性能。

该软件还可以在相机仿真器模式下工作,以检查GPU上的图像处理性能,而无需将相机连接到PC。 用户可以加载任意RAW图像在RAW/PGM/TIFF格式的工作。 这对于检查GPU上每个图像处理模块可用的时间测量非常有用。

FastVCR软件 延迟基准

许多应用需要低延迟性能,因此我们使用标准玻璃对玻璃(GTA或GTG)测试测量进行评估。 为了检查系统延迟,我们实现了一个软件模块来运行G2G测试。 我们对G2G测试有以下选择:

  • 相机从显示器上的高分辨率定时器捕获当前时间的帧,然后我们将数据从相机发送到软件,在GPU上进行图像处理,然后用计时器在靠近窗口的同一显示器上显示处理后的图像。 如果我们停止软件,我们会看到两个不同的时间,它们的区别是系统延迟。
  • 我们还实现了一个更复杂的解决方案:在GPU上进行图像处理后,我们可以应用JPEG编码(GPU上的MJPEG),然后将MJPEG流发送到receiver进程,在那里我们进行MJPEG解析和解码, 两个进程(发送方和接收方)都在同一台PC上运行。
  • 与先前方法相同的解决方案,但使用H.264/H.265编码/解码(CPU或GPU),两个进程都在同一台PC上。

当我们通过网络将压缩数据从一台PC流式传输到另一台PC时,我们还可以测量这种情况的延迟。 延迟取决于摄像机帧速率、监视器fps、NVIDIA GPU性能、网络带宽、图像处理管道的复杂性等。 我们认为G2G延迟结果是近似的,因为它们依赖于相机/监视器帧速率等。

为了进行测试,我们已经运行XIMEA USB3 3-MPix8位彩色相机,速度为120fps,显示器为144fps。 估计的G2G延迟约为35-40毫秒。与其他具有更高fps的相机和显示器相比,它可能会更好,使用PCIe相机而不是USB3是个好主意。 您可以使用XIMEA相机在PC上运行该软件,以评估系统上的延迟。

GPU上可选的图像处理模块

  • 原始捕获、预览和存储到SSD
  • 原始数据和处理数据的直方图
  • RAW、RGB、HSV的曲线和电平
  • DCP支持和校准(CCM,HSV LUT,音调曲线)
  • 3D LUT支持
  • 几何和仿射变换
  • 通过加速重映射消除失真
  • LCP支持
  • HDR支持
  • 本地和全球调色
  • SDI输出支持与Blackmagic抓取器一起工作
  • 多摄像头支持
  • 多摄像机系统的快速重播(同步查看器)解决方案
  • 高性能JPEG2000和RAW JPEG编解码器
  • 与FFmpeg的互操作性
  • 相机和镜头校准:FPN,FFC,DCP,反失真
  • GenICam(GenTL)支持与Basler,Implex,Flir,Lucid,Emergent Vision,IO Industries,大恒成像,Mindvision,Hikrobot和其他相机一起工作

FastVCR软件 命令行应用程序

很多时候,我们需要运行一个没有任何GUI的软件,它可能发生在不同的情况下。 对于无人机应用或具有远程摄像机控制的任何其他任务,情况都是如此。 任何长期无监督的视频录制和流媒体也是如此。

为了满足这些要求,我们开发了一个CLI应用程序,它具有FastVCR软件的所有上述功能,并且可以在没有GUI的情况下工作。 我们仍然能够完全控制图像传感器和图像处理参数在实时。 对于视频预览,我们提供我们自己的播放器与RTSP客户端或一个可以使用VLC代替。 该软件与Windows/Linux/L4T兼容,所有图像处理都在GPU上完成。

cuda图像处理sdk

以上所有功能都是在我们的CUDA图像处理SDK的基础上设计的。 现在,我们的客户有机会在他们的应用程序中使用GPU加速的软件组件作为视频处理管道的一部分。

除了FastVCR软件外,我们还提供定制软件设计,以根据客户的要求构建解决方案。 我们可以实现特定于应用程序的操作模式来解决您需要的任务。 请填写下面的联系表格与您的项目信息,并发送给我们。

兼容性

  • CUDA-12.6 for Windows/Linux, NVIDIA GeForce, Quadro
  • CUDA-12.2 for NVIDIA Jetson NX, AGX Orin
  • CUDA-11.4 for NVIDIA Jetson NX, AGX Xavier, Orin
  • XIMEA USB3 and PCIe cameras
  • CUDA processing of 8-16-bit RAW/PGM/TIFF images from SSD

软件下载

申请表格

  • 眼科及视网膜手术、医学影像学
  • 机器视觉与工业应用
  • 媒体及娱乐
  • 广播及流媒体
  • 无人机和无人机
  • 3D扫描和机械臂
  • 航空成像
  • 机器视觉相机的数据收集AI应用

关于该主题的博客文章

联络表格

此表格收集您的姓名和电子邮件. 你可在此查阅我们如何保护及管理你的个人资料的私隐政策.