查看: 307|回复: 0

化腐朽为神奇!揭开ISP图像处理的神秘面纱,基于瑞芯微RK3568J工业平台!

[复制链接]
发表于 2024-4-29 16:14:58 | 显示全部楼层 |阅读模式
ISP图像处理前后图像对比
[color=rgba(0, 0, 0, 0.9)]化腐朽为神奇!经过ISP图像处理的图片前后对比是如此惊人!从下图中可以观察到,未经处理的原始图像偏绿且暗淡,而经ISP图像处理的图像能够清晰地还原现场真实的颜色细节!
[color=rgba(0, 0, 0, 0.9)] 1.png
1 原始图像显示效果

[color=rgba(0, 0, 0, 0.9)] 2.png
图2 经ISP图像处理后显示效果

[color=rgba(0, 0, 0, 0.9)]ISP简介
[color=rgba(0, 0, 0, 0.9)]ISP(Image Signal Processor),即图像信号处理,主要作用是处理前端图像传感器输出的信号,主要功能有线性纠正、噪声消除、自动白平衡、自动曝光控制等,能在不同的光学条件下很好地还原现场细节。
[color=rgba(0, 0, 0, 0.9)]
[color=rgba(0, 0, 0, 0.9)]ISP优势
[color=rgba(0, 0, 0, 0.9)]由于不同传感器的差异以及拍摄环境的多样性,传感器输出的原始数据和人们预期的图像有一定差距,因此ISP就起到了相当重要的作用。例如:夜间光照不足、大雾、沙尘等,均会使采集的图像造成影响,存在成像模糊、噪声污染及曝光不均等问题,而经ISP图像处理的图像会有明显的优化。
[color=rgba(0, 0, 0, 0.9)]
RK3568J ISP功能介绍
[color=rgba(0, 0, 0, 0.9)]RK3568J的ISP21模块支持标准的Sensor图像数据处理,包括自动白平衡,自动曝光,Demosaic,坏点矫正及镜头阴影矫正等基本功能,也支持HDR、去雾、降噪等高级处理功能。ISP21功能框图如下图所示。
[color=rgba(0, 0, 0, 0.9)]
[color=rgba(0, 0, 0, 0.9)] 3.png
[color=rgba(0, 0, 0, 0.9)]图3 ISP21功能框图
[color=rgba(0, 0, 0, 0.9)]RK3568J的ISP图像处理基于RKISP2.x Tuner工具对摄像头采集的图像进行标定得到IQ参数文件,通过IQ参数文件将摄像头采集的图像进行优化处理后发送至显示设备。
[color=rgba(0, 0, 0, 0.9)]
[color=rgba(0, 0, 0, 0.9)]RKISP2.x Tuner提供了一套便于用户调试ISP参数的工具,用户可以在RKISP2.x Tuner中对所有ISP模块开展标定(Calibration)、调试(Tuning)等工作。
[color=rgba(0, 0, 0, 0.9)]
[color=rgba(0, 0, 0, 0.9)] 4.png
[color=rgba(0, 0, 0, 0.9)]图4 RKISP2.x Tuner工具界面
[color=rgba(0, 0, 0, 0.9)]用户可以使用RKISP2.x Tuner提供的抓图工具(Capture Tool)来拍摄RAW图,在标定工具(Calibration Tool)中完成基础模块的标定工作,在RKISP2.x Tuner中连接设备,在线进行ISP参数调试。
[color=rgba(0, 0, 0, 0.9)]

[color=rgba(0, 0, 0, 0.9)] 5.png
图5 RKISP2.x Tuner调试流程图

RK3568J工业平台典型应用领域
[color=rgba(0, 0, 0, 0.9)] 6.jpg
图6 RK3568J工业平台典型应用领域

ISP图像处理开发案例


[color=rgba(0, 0, 0, 0.9)]功能说明
[color=rgba(0, 0, 0, 0.9)]本案例基于RKISP2.x Tuner工具对摄像头采集的图像进行标定得到IQ参数文件,通过IQ参数文件将摄像头采集的图像进行优化处理后发送至显示设备。
[color=rgba(0, 0, 0, 0.9)]
[color=rgba(0, 0, 0, 0.9)]硬件连接
[color=rgba(0, 0, 0, 0.9)]评估板默认已支持HDMI OUT显示,请将评估板HDMI OUT接口连接至HDMI显示屏,使用FFC软排线将MIPI摄像头模块(型号为MCAM400)连接至评估板CAMERA接口,通过网线将评估板千兆网口ETH0 RGMII连接至路由器。硬件连接如下图所示。
[color=rgba(0, 0, 0, 0.9)]
[color=rgba(0, 0, 0, 0.9)] 7.png
[color=rgba(0, 0, 0, 0.9)]图7
[color=rgba(0, 0, 0, 0.9)]原始图像显示演示


[color=rgba(0, 0, 0, 0.9)] 8.png
图8

[color=rgba(0, 0, 0, 0.9)]
9.png
图9 原始图像显示效果

[color=rgba(0, 0, 0, 0.9)]可以观察到,HDMI显示屏实时显示摄像头采集的原始图像偏绿色且暗淡。
[color=rgba(0, 0, 0, 0.9)]
[color=rgba(0, 0, 0, 0.9)]RKISP2.x Tuner工具调试演示
[color=rgba(0, 0, 0, 0.9)]以下主要介绍使用RKISP2.x Tuner工具进行标定处理。
[color=rgba(0, 0, 0, 0.9)]
[color=rgba(0, 0, 0, 0.9)]打开RKISP2.x Tuner工具,导入原始图像后,进入CCM标定界面,然后设置饱和度,点击"Calibrate"开始标定。
[color=rgba(0, 0, 0, 0.9)]
[color=rgba(0, 0, 0, 0.9)] 10.png
[color=rgba(0, 0, 0, 0.9)]图10
[color=rgba(0, 0, 0, 0.9)]标定完成后,点击"Result"页面,可查看结果。
[color=rgba(0, 0, 0, 0.9)]
[color=rgba(0, 0, 0, 0.9)] 11.png
[color=rgba(0, 0, 0, 0.9)]图11
[color=rgba(0, 0, 0, 0.9)]可点击"Save"将新标定数据保存至IQ参数文件ov4689_RK-CMK-8M-2-v1_CK8401.json中。
[color=rgba(0, 0, 0, 0.9)]
[color=rgba(0, 0, 0, 0.9)]备注:如需了解通过RKISP2.x Tuner工具创建及配置IQ参数文件的详细步骤,请参考我司提供的用户手册。
[color=rgba(0, 0, 0, 0.9)]
[color=rgba(0, 0, 0, 0.9)]ISP图像处理效果演示
[color=rgba(0, 0, 0, 0.9)]评估板上电启动,请将IQ参数文件ov4689_RK-CMK-8M-2-v1_CK8401.json拷贝至评估板文件系统"/etc/iqfiles/"目录下,然后重新启动评估板。
[color=rgba(0, 0, 0, 0.9)]
12.png
[color=rgba(0, 0, 0, 0.9)]图12
[color=rgba(0, 0, 0, 0.9)]进入评估板文件系统,执行如下命令,将摄像头采集的图像实时显示至HDMI显示屏,该画面是经ISP图像处理的显示效果,如下图所示。按"Ctrl + C"可退出程序。
[color=rgba(0, 0, 0, 0.9)]
[color=rgba(0, 0, 0, 0.9)]Target#/rockchip-test/camera/camera_rkisp_test.sh
[color=rgba(0, 0, 0, 0.9)]
13.png

[color=rgba(0, 0, 0, 0.9)]13
[color=rgba(0, 0, 0, 0.9)] 14.png
图14 经ISP图像处理后显示效果

[color=rgba(0, 0, 0, 0.9)]可以观察到,摄像头实时采集的图像经过ISP图像处理后,显示效果相比原始图像有明显的优化。显示效果跟实际测试环境以及IQ参数文件配置有关,测试结果仅供参考。




您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们  -  服务条款  -  使用指南  -  站点地图  -  友情链接  -  联系我们
电子工程网 © 版权所有   京ICP备16069177号 | 京公网安备11010502021702
快速回复 返回顶部 返回列表