基于小波变换与DSP的实时音频视频处理系统

发布时间：2010-12-22 19:33 发布者：conniede

目前，以远程监控、视频会议、可视电话及移动多媒体通信系统为代表的低比特率通信系统在实际中得到了重要应用。面对庞大的音/视频数据量，作为语音及图像处理的压缩技术便在多媒体通信中显得极为重要。随着多媒体通信技术和超大规模集成电路（VLSI）技术的飞速发展，这一技术将会在众多领域得到更为广泛的应用。

1 音/视频实时处理系统

低码率视频通信的主要技术问题是音/视频压缩编码技术，即用来实现在满足足够质量和硬件成本的条件下降低所需的码率。小波变换充分利用人眼的视觉特性，克服了重构图像会出现的块效应、蚊子效应、模糊等现象。由于小波变换技术能充分地利用人眼的视觉特性，因此因而用小波变换视频编码将会获得比现在标准得多的压缩效果。本文介绍一种基于ADV611，CT8021芯片同时结合TI公司的TMS320C6201芯片实现音/视频实时处理系统。在该实时系统中，DSP芯片作为控制核心、一方面要管理ADV611，CT8021，存储器和通信接口，另一方面要对ADV611的图像压缩效果进行调解，对数据速率实时控制。系统实现方案原理图如图1所示。

1.1 系统硬件结构

系统主要功能是实现远程场景音视频的采集、数字化、音/视频的压缩和解压、摄像系统云台方位以及摄像头的控制、自动开机和关机等功能。其中音视频数据的打包、解包、摄像系统云台方位以及摄像镜头的控制等功能DSP芯片TMS320C6201来完成。远程场景及音频压缩信息通过入网设备在Internet上实现远程实时传输。如图2中，原始制式PAL（720288，50帧/s）的视频信号经过图像采集端的视频A/D转换成CCIR656（8位27MHz）的数据流，再通过ADV611进行小波压缩编码。同时，原始的音频信号也经过音频采集端的A/D转换为PCM信号，再通过CT8021完成G.723.1压缩编码。经过压缩的音/视频数据都送入TMS320C6201中，并由TMS320C6201参照MPEG－2协议完成音/视频数据的打包；经过打包的数据由TMS320C6201送出，这里使用异步通信器件TL16C550B连接TMS320C6201和入网设备，这样做可以简化DSP的软件实现提高系统的可靠性和可扩展性。最后打包的音/视频数据由入网设备发送到Internet上，接收端功能框图如图3所示。从远端接收到压缩数据后，经过TL16C550B送到DSP中，先在存储器中缓存，然后根据MPEG－2协议进行解包，分解成独立的音/视频数据；然后依据ADV611和CT8021的数据申请，将压缩视频数据发送给ADV611解压，将压缩音频数据发送给CT88021解压。ADV611恢复出的图像数据仍以CCIR656的标志格式发送给视频D/A转换为视频模拟信号，最终由显示器回放出来，CT8021恢复出的语音数据仍以PCM标准格式发送给音频D/A转换为音频模拟信号，由扬声器回放出来。

1.1.1 音频处理模块

该模块的核心芯片CT8021是采用美国DSP Group公司生产的全双工的语音压缩解压缩芯片。他可为基于H.320协议的多媒体系统。该芯片实现了ITU－TG，723.1所规定的5.3kb/s和6.3kb/s两种比特率语音。这两种比特率是H.263建议所规定的国际标准语音速率，适用于线路带宽较小的多媒体通信。该芯片处理速度快，可实现语音的实时处理，其内部结构如图4所示。

1.1.2 视频处理模块

在该设计中，用小波变换进行图像压缩是采用硬件实现的，使用了AD公司生产的ADV611单片、多功能、全数字的CMOS超大规模集成电路。小波压缩核采用双正交（7，9）小波变换。其内部结构如图5所示。他支持对CCIR－656国际数字视频标准进行高画质的无损或有损视频压缩和解压缩并支持实施隔行扫描的视频数据。编码时，数字视频从数字视频接口输入，经帧抽取和小波变换，送入量化器进行量化。量化后的数据送入熵编码器，进行游程编码和霍夫曼编码，产生最后的压缩数据流，送入集成于片内的51232位大小的FIFO缓存。当片内的FIFO的数据量达到主机的预设值时，ADV611发出中断，通知主机取走数据。解码过程与之相反，压缩数据由主机送入FIFO，解码后产生CCIR－656格式的数据视频数据，从数字视频接口输出。

ADV611与其前期产品ADV601，ADV601LC相比，他不仅有更宽的温度范围（－25～＋85℃），而且采用硬件减帧技术，可获得更高的压缩比（最大可达7 500：1）并且增加一种称为特性盒控制的功能。该功能允许一帧中某一矩形区域相对于其他区域有较低的压缩比或完全不进行压缩。对这个主芯片的控制采用TI公司的高速定点DSP芯片TMS320C6201。他的内部工作频率为200MHz，CPU有8个并行的功能单元，每个时钟周期内可以并行执行8条指令，所以用C语言编程时也能完全满足对ADV611控制速度的要求。

视频解码兼模/数转换芯片采用PHILIPS公司的视频芯片SAA7111，他可接收复合电视信号及S端子信号输入，输出支持YUV422/411，CCIR656及RGB565等视频格式，这里使用YUV422；视频图像恢复采用AVERLAGIC公司的视频芯片AL250，他支持YUV422与RGB565隔行输入视频格式，输出则为计算机显示器CRT接收的RGB（VGA）逐行视频格式，可方便地利用计算机观察视频。这2个芯片都含有控制寄存器，可通过I2C总线控制。

将ADV611接收来自SAA7111的数字视频信号进行压缩，DSP将通过访问ADV611获得压缩数据；将ADV611设置为解压缩模式时，DSP将压缩数据发给ADV611进行解压缩处理，而SAA7111仅为ADV611提供时钟信号。

此外，为提高系统的集成度和灵活性。系统使用了一片ALTERA公司的CPLD－EPM7128，他将I2C电路、DSP启动电路、地址译码电路、对时钟信号VCLK的二分频电路、读写信号产生电路及编码解码切换电路等做在内部。电源芯片为TI公司的TPS73HD301，他接收5V电压，输出3.3V和2.5V电压，并提供系统复位脉冲。

1.1.3 I2C总线特殊设计

DSP的扩展能力不强没有多余的I/O口。无法实现类似单片机的I/O口集电极开路允许总线路“线与”。这时可用三态门的控制单元（使用D触发器），在需要释放的总线时关闭三态门即可。

1.1.4 音视频的复用

本系统复用器的设计是在MPEG－2音/视频国际标准的第一部分ISO/IEC13818－1系统层语法规范的基础上，采用TMS320C6201信号处理器来实现。其中为实现一套节目音频/视频的解码同步，在码流中需要插入各种时间标记，系统控制等信息。最后送到网络适配器得到与传输信道相匹配的标准输出码流后，送往信道，复用器还提供整个编码系统的系统时钟。

2. 系统软件设计

DSP在主程序中计算采集端ADV611图像压缩编码的控制参数。ADV611通过控制寄存器提供给用户3种控制图像效果和数据流量手段。首先是设置量化系数，即通过改变小波分解后各个不同频带数据的量化权重达到数据压缩的目的，其次是减帧，ADV611可以从50帧/s减到2帧/s。最后是特性盒控制，ADV611能够在722288的一帧图像中再设置一个显示区，并将该区之外的图像衰减，从而利用这种减小有效画幅尺度的方法压缩数据。这个显示区域大小的设备是通过调节ADV611内部品质框数据实现的。主程序中DSP将依据用户调节命令，计算修改ADV611中的控制寄存器参数。

本系统DSP控制程序的设计关键是如何高效地协调完成各类控制任务，避免由于任务进程安排不当而引起的数据传输意外中断，以压缩端为例，如图6所示，DSP程序将BSP数据发送和数据接收控制以及ADV611，CT8021的服务请求作为中断处理，以提高这些任务的响应速度。为了避免通信串口的数据丢失，程序允许BSP发送中断和接收终端在ADV611和CT8021的服务请求中断发生并立即响应。在程序的主循环部分中，DSP通过一系列的状态判断完成发送缓冲区数据写入、接收缓冲区数据读取、图像压缩编码参数计算等任务。