Global Shutter为AI 点睛

发布时间:2018-10-23 14:40    发布者:eechina
关键词: SmartSens , CMOS传感器 , 快门
来源:思特威SmartSens Technology

前言:

AI(人工智能),是目前科技行业最火的话题。从Alpha Go战胜围棋世界冠军柯洁,到德勤与Kira Systems 联手,将AI引入会计、税务、审计等财务工作领域,可以看出,AI离我们的生活越来越近了。

AI到底能做什么,每个人都有自己的看法,大家对AI有着非常多的期待,期待AI能够解放人类双手,提高人类的工作效率。但不管怎么样,大家都希望AI可以让机器像人一样思考学习,像人一样听懂语音识别,像人一样控制运动,像人一样进行视觉识别,用机器实现目前所有必须借助人类智慧才能实现的任务。

在AI技术里,人工神经网络非常关键。在人工神经网络模型中,其结构分为输入层,隐藏层和输出层。(如下图)

image001.png

而做为AI的输入,目前主要是通过视觉输入和语音输入。为了让机器像人一样进行视觉识别,目前最重要的器件就是Camera sensor。Camera sensor就像机器的眼睛,为机器感知周围的世界。Camera sensor的拍照效果,跟很多参数有关,曝光时间是图像传感器其中一个重要的参数,而快门速度则会影响到Camera sensor的曝光时间。

那什么是快门呢?

快门主要用来控制摄像头传感器的有效曝光时间。一般而言快门的时间范围越大越好。若想抓到急速移动的物体,就需要快门速度越快越好。而若需要看到夜晚的车水马龙,就需要快门时间越长越好。

目前主要由两种曝光Shutter技术: Rolling Shutter 和 Global Shutter

Rolling Shutter:

Rolling Shutter的sensor 的曝光是按照逐行曝光的方式实现。在曝光开始的时候,Sensor逐行扫描逐行进行曝光,直至所有像素点都被曝光。当然,所有的动作在极短的时间内完成。不同行像元的曝光时间不同。

image002.png
(图片来源于网络)

Global Shutter:

与RollingShutter不同,是整幅画面同一时间曝光实现。摄像头传感器sensor的所有像素点同一时间感应光线,同时曝光。Sensor读出的是同一时间的同一画面。

image003.png
(图片来源于网络)

下面有两张图可以介绍这两种技术:

image004.png

image005.png

(图片来源于网络)

左边的图是Rolling shutter的曝光方式,逐行扫描。而右面的图则是Global Shutter的曝光方式,所有像素点一起曝光。
在拍照的时候,Rolling Shutter成像过程如下图:

左边,是一个常见的场景(上面风扇,下面小汽车),Rolling Shutter对它进行逐行扫描,成像结果如右图。面对一个运动中的物体,Rolling Shutter是一行一行曝光,采集画面,所以形变非常严重。而Global Shutter是所有像素同时曝光,所以不会产生此形变。

image006.png
(图片来源于网络)

之所以Global Shutter 能够做到全局曝光,跟Rolling Shutter相比,主要是Global Shutter在每一个像素上都增加了一个存储单元,才使得所有的像素能够同时曝光。

image007.png


同Rolling shutter相比,Global shutter的sensor可以很好的解决以下问题:

1. 高速物体变形 (左图是采用Global shutter技术的 SmartSens SC132GS拍摄的图片,右图是 Rolling shutter sensor拍摄的图片)。

可以明显看出用Rolling shutter sensor拍摄高速运动的风扇,物体会变形。

image008.png
(图片来源于SmartSens)

2. 明暗现象 (左图是采用Global shutter技术的 SC132GS拍摄的图片,右图是没有采用HDR技术拍摄的图片)

在光线有明暗变化的时候,左图Global shutter sensor 不会有明暗瑕疵,可以做到单帧HDR。

image009.jpg
(图片来源于SmartSens)

成像技术不停的演进,促进了AI的发展。通过AI,大数据和互联网技术,带动了智慧城市的建设。智能安防,智慧交通,智慧工厂,智慧商业,智能家居,都能看到Camera的身影。一般情况下,Rolling shutter技术就足够了,但若要捕捉高速运动物体,或在环境光条件不理想的情况下获取清晰图像的时候,使用Global Shutter技术,无疑会带来更好的效果。

1. 智慧安防

目前来看,AI最容易落地的就是安防领域。通过AI技术,将监控中的人准确无误的抓拍下来,可以最大化的实现监控目的。一般情况下,安防Camera主要抓拍的都是行人,都是慢速运动的物体,Rolling shutter sensor就可以胜任。但若通过Global shutter sensor,则可以在高速移动的拍摄场景中有效降低图像畸变,避免了抓拍时,人物或物体运动带来的斜坡晃动现象,以及人脸模糊的问题,从而提供更清晰的图像。因此在高速违章查处,卡口ETC等需要道路监控的地方,Global Shutter比Rolling Shutter更加胜任。

2. 智慧交通

为了让城市交通更加便利,疏导公共交通,智慧交通系统是解决交通发展瓶颈的有效手段之一。高速违章查处,卡口ETC,十字路口的道路监控,停车场的智能管理,道路流量监测,电子警察等都离不开成像技术。只有准确的成像信息,才能更加准确地判断当前的路况以及车辆的情况,才能更好地实现智慧交通。这个时候,Global shutter可以更好的助力智慧交通。

为了实现智慧交通,从汽车角度来看,新型汽车都在从ADAS辅助驾驶向自动驾驶的方向演进。无论是辅助驾驶还是自动驾驶,汽车的中控芯片对sensor接收下来的图像信息要求越来越高。中控芯片需要sensor在车辆高速运动中,不仅提供没有变形的清晰图片,还需要提供周边物体与车辆的距离。而Global shutter sensor一方面可以避免车辆高速运动时,Rolling shutter sensor 拍摄变形的问题,另外一方面,结合结构光技术(接收sensor是Global shutter的)或者双目摄像头(两个摄像头若都是Global shutter最好)技术,就可以提供更清晰的图像,以便于中控更加精准的计算出周边物体与车体的距离,判断当前的路况,判断交通灯的状况,才能使车辆行驶更加安全。

image010.png
(图片来源于网络)

3. 智慧工厂

由于Global shutter sensor可以清楚的还原高速运动中的物体的形态,有效避免Rolling shutter sensor 担心图像质量而降低自动流水线的速度问题。所以大型工厂在检测,质量管控,机械臂操作,物流,测量等自动化生产时,使用Global shutter可以提高生产效率。

4. 智慧商业

随着支付宝,微信支付的发展,国内二维码支付变得非常流行。而对于店家来讲,扫码设备的需求也在增长。对于扫码设备来讲,若用Global shutter sensor可以使扫码设备的可识别区域变长,使用户拥有更优的体验感。

image011.png
(图片来源于SmartSens)

5. 智能家居

家用设备若要智能化,也需要Camera的帮忙。比如,扫地机器人。扫地机器人若想将屋内的空间测量出来或者识别前方是否有障碍物,都离不开Camera这只眼睛。同样,Global shutter则可以帮助扫地机器人更加精准的获得距离信息,使得扫地机器人更加智能化。

虽然说Global Shutter 有很多优势,但是也无法完全替代Rolling Shutter。Global shutter sensor适用于拍摄高速运动物体,或AI应用中基于机器视觉算法的智能感知技术(vSLAM/手势跟踪识别/光流等算法),Rolling Shutter sensor则适用于拍摄运动速度相对较慢的物体或场景,可获得更高的成像信噪比。而且由于Global shutter 需要对每个像素都要增加一个存储单元,这样增加了sensor的生产难度以及成本。

考虑到BSI在低照条件下的成像亮度和清晰度都比FSI有更大的优势,可以有效增加Global shutter sensor在应用场景上的拓展,适应性更广,SmartSens首创将BSI技术和Global shutter技术相结合,发布了多款基于BSI(背照式)的Global Shutter sensor产品。

AI和IoT的发展,影响着人们的生活,甚至在改变人们的生活。而做为AI和IoT的眼睛,Camera sensor的技术发展也间接影响着AI和IoT的发展。SmartSens的理念是服务于应用技术的发展趋势,根据市场和应用技术的需求,将看清万物的“眼”做到极致。通过不断完善提升CMOS成像传感器的设计和制造能力,为AI和IoT点睛。
本文地址:https://www.eechina.com/thread-548795-1-1.html     【打印本页】

本站部分文章为转载或网友发布,目的在于传递和分享信息,并不代表本网赞同其观点和对其真实性负责;文章版权归原作者及原出处所有,如涉及作品内容、版权和其它问题,我们将根据著作权人的要求,第一时间更正或删除。
您需要登录后才可以发表评论 登录 | 立即注册

厂商推荐

相关视频

关于我们  -  服务条款  -  使用指南  -  站点地图  -  友情链接  -  联系我们
电子工程网 © 版权所有   京ICP备16069177号 | 京公网安备11010502021702
快速回复 返回顶部 返回列表