基于FPGA的视频图像处理算法的研究与实现

发布时间:2014-12-17 15:42    发布者:designapp
关键词: FPGA , 视频图像处理 , 多屏幕

        随着网络信息化的发展,显示设备作为获取信息的直接手段,有着不可或缺的作用。为满足用户对更大屏幕的观看需要以及使信息显示更优化,大屏幕拼接技术应运而生。大屏幕图像尺寸的增大使在普通显示器上不易察觉的细节暴露无遗,提高了可视化的准确性。高分辨率图形图像数据处理和可视化,用于解决基于单一硬件显示设备无法可视化的高分辨率图形图像。
而拼接控制器是大屏幕系统中的核心显示控制设备。拼接控制器的核心是其处理能力和稳定性,基于计算机体系构架的传统控制器,其性能和稳定性完全取决于它所依赖的计算机,无论传统控制器如何改进,最多只能算量的积累,难以获得质的提升。采用大规模FPGA阵列式组合处理构架,全嵌入式硬件设计的拼接控制器集视频信号采集、实时高分辨率数字图像处理、二维高阶数字滤波等高端图像处理技术于一身,具有强大的处理能力。
本文正是在这种背景下,设计了一种基于FPGA的视频图像处理算法,实现实时数字视频的分割、插值放大,通过并行处理机制,保证了视频的实时处理和画面流畅。
1 系统总体概述
文中将完成一路监控摄像头采集的画面在2×2的液晶拼接屏上显示一幅完整大图的效果。
系统的总体框架图如图1所示。由网络摄像头采集到的视频信号,经过DVI接收器后,发出数据及控制信号供给FPGA。通过FPGA主控芯片对输入的视频信号进行分割、插值放大等处理;视频输出模块将FPGA处理后的数据再通过DVI接口输出到屏幕上。



图1 系统的原理图


只要数据读出速度高于写入速度,就不会使图像产生突变现象,从而达到实时处理的目的。




       
2 FPGA模块的实现
FPGA内部系统对视频图像的处理如图2所示。主要分为帧存储模块、分割模块、插值模块3部分。



图2 FPGA内部模块图


2.1 帧模块及存储模块
DVI接口是将显卡中经过处理的待显示R、G、B数字信号与水平同步信号(Hsync,行同步信号)、垂直同步信号(Vsync,场同步信号)进行组合,按最小非归零编码,将每个像素点按10 bit(8 bit像素数据和2 bit控制信号)的数字信号进行并串转换,把编码后的R、G、B数字流与像素时钟4组信号按照最小化传输差分信号(Transition Minimized Differential Signal,TMDS)方式进行传输。
FPGA的分时切换逻辑是依据输入视频流的垂直同步控制信号Vsync发生由高电平到低电平的转换,以此作为新数据帧到来的标识,如图3所示。



图3 分时切换逻辑图


当FPGA内部的信号控制采集信号为0时,采集系统停止工作,地址发生器不计数。当其为1时,系统处于采集状态。首先只有Vsync上升沿到来后,才允许Hsync通过,从而保证采集的图像为完整的一帧图像。当Vsync上升沿到来后,对所有计数器及触发器清零。Vsync上升沿后,场消隐延时用来对Hsync计数,场消隐期后,可以采集图像。行同步计数器对Hsync进行计数。在计数的每一行中,当Hsync上升沿到来时,行消隐延时对其计数。行消隐过后,点同步计数器开始对其计数。当行同步计数停止计数时,一帧图像采集完毕,等待下一个Vsync到来。
数据缓冲区为两片SDRAM,以一帧图像为单位进行切换控制。采用乒乓存储机制完成数据的无缝缓冲与处理。乒乓操作可以通过“输入数据选择控制”和“输出数据选择控制”按节拍、相互配合地进行来回切换,将经过缓冲的数据流没有停顿地送到“后续处理”模块。
2.2 分割模块
由于一个像素的输出值只取决于输入图像的相应像素值,因此,可通过对每个输入像素依次进行处理这种流水化的处理模式,来实现对图像的点操作。由于每个像素是单独处理的,所以点操作很容易并行实现。因此,可以把图像分割成若干部分,然后再对每个部分单独进行处理。
视频分割模块实现单帧视频图像的分割剪裁,得到4路完整格式的子视频像素流,并控制4个子视频的相互时序关系,各个拼接屏幕的像素点的扫描规律相同,均为逐行扫描形式,并且子视频像素点显示同步,即行同步和场同步。




       
2.3 双线性插值算法的实现
实现图片处理的插值方法有很多,例如最近邻插值、双线性插值、双三次插值等。最近邻插值是最简单的插值方式,但当图像中的像素灰度级有细微变化时,该方法会在图像中产生人工的痕迹。双三次插值可以得到更平滑的结果,但在存储管理更复杂,并增加了逻辑资源的消耗。因此,选取了双线性插值方法。
与点操作的图像分割不同,双线性插值属于几何变换,其输出的像素通常并不是来自同一个输入像素位置。因此需要一些形式的缓存来处理由几何形状改变而引起的延迟。
本文采用预载入缓存的方法来缓冲图像数据,并使用双端口RAM来实现行缓冲器的设计方案。
采用双口RAM可在一个时钟周期内同时在每一行上提供两个输入像素,即提供了所有的4个像素。然后将数据输送到插值计算模块。而整幅图像的存储将保存在外部的帧缓存中,每个时钟周期只能对其进行一次访问。每个像素应仅从外部存储器中读取一次,然后暂存在片上缓存中用于随后的窗口。将数据预载入缓存,每次访问时直接从缓存中读取像素,如图4所示。共需计算两次:一次用于载人缓存;一次用于执行插值。输入和输出像素间的映射采用前向映射。



图4 预载入缓存



图5 双线性插位算法

视频插值模块实现对视频按比例因子进行双线性插值放大处理。双线性插值算法的基本原理如图5所示,图中的下标i和f表示各自坐标的整数和小数部分。双线性插值是采用可分离的线性插值将4个最近的像素值组合,如式(1)。




线性插值的结果与插值的顺序无关。先进行y方向的插值,然后进行x方向的插值,所得结果相同。将式(1)进行分解,则有




当输入分辨率有所变化而引起缩放因子变化时,FPGA内的数字逻辑能实时计算出式(2)中的系数xf和yf。而非仅计算几种固定缩放比例,从而提高了算法模块的利用率。
若以将摄像机1 024×576分辨率的图转化为1 366×768的图为例,则水平缩放因子sc_x和垂直缩放因子sc_y均为0.75。若将水平因子直接带入编写程序,则会报错。采用浮点数表示法,转换后得到的10位16进制数,计算出系数xf和yf均为h300。
在实际设计中,为避免运算过于复杂,把复杂的运算分成几个步骤,分别在不同的时钟周期完成。插值计算的逻辑结构模块如图6所示。



图6 插值计算模块的逻辑结构图


系统包含3种不同的时钟频率:原像素点频率clkin、输出像素点频率clkout和系统主时钟频率clksys。令系统主时钟频率为4倍的原像素点频率,则使用Verilog语言及ModelSim SE 10。1 a和Quartus II仿真环境进行编译,得到双线性插值计算模块的仿真波形。为程序书写方便,将采集的4个像素值标为a、b、c、d,经过插值模块后的输出像素值为p。从仿真波形可看出,完成了双线性插值计算模块的实现。
3 结束语
针对大屏幕特点,从拼接控制器入手,提出了一种基于FPGA实现的视频实时处理系统。主要采用双线性插值法,讨论了如何用FPGA实现,并进行逻辑结构的优化,提高系统性能,并对双线性进行仿真,验证了算法在拼接显示系统中的可行性。围绕拼接控制器这个应用方向,还有更多的问题需要进行研究,例如画面自由叠加与漫游,单屏分割,自动图像识别重建等。



本文地址:https://www.eechina.com/thread-135923-1-1.html     【打印本页】

本站部分文章为转载或网友发布,目的在于传递和分享信息,并不代表本网赞同其观点和对其真实性负责;文章版权归原作者及原出处所有,如涉及作品内容、版权和其它问题,我们将根据著作权人的要求,第一时间更正或删除。
您需要登录后才可以发表评论 登录 | 立即注册

厂商推荐

相关视频

关于我们  -  服务条款  -  使用指南  -  站点地图  -  友情链接  -  联系我们
电子工程网 © 版权所有   京ICP备16069177号 | 京公网安备11010502021702
快速回复 返回顶部 返回列表