FPGA已经存在了十几年的时间,在传统概念中,FPGA价格昂贵,设计门槛较高,多用于通信和高端工业控制领域。最近几年,低成本FPGA不断推陈出新。半导体工艺的进步不仅带来FPGA成本的降低,还使其性能显著提升,同时不断集成一些新的硬件资源,比如内嵌DSP块、内嵌RAM块、锁相环(PLL)、高速外部存储器接口(DDR/DDR2)、高速LVDS接口等。在Altera公司90nm的Cyclone II FPGA内部,还可以集成一种软处理器Nios II及其外设,它是目前FPGA中应用最为广泛的软处理器系统。
作为一个平台,FPGA显然已经非常适合于高性能低成本的视频和图像应用。它可以帮助用户灵活定制系统,缩短产品研发和更新换代的周期,使用户紧跟技术和市场发展潮流。本文首先将回顾视频和图像处理的应用领域、视频处理流程、发展趋势,以及设计者必须应对的挑战。然后,对FPGA内部的资源和算法实现进行简单介绍。随后www.cechina.cn,本文将介绍Altera公司及其合作伙伴在视频图像应用领域提供给用户的解决方案。最后给出设计视频图像处理系统的工具和流程。
技术与挑战
视频和图像处理技术的应用非常广泛,主要包括数字电视
视频和图像处理技术可谓日新月异,研究人员对于视频图像和人眼感官的研究从来就没有停止过,新需求不断催生技术革新和新标准,主要体现在以下几个方面:从标清(SD)到高清(HD),分辨率越来越高,需要实时处理的数据量越来越大;视频和图像压缩技术日趋复杂,如MPEG-4第2部分,H.264 AVC,JPEG2000等;对视频系统智能的要求提高,如智能拍摄、运动检测、对象识别、多通道、画中画、透明叠加效果等;消费者欣赏能力的提高,希望图像更稳定、更清晰、色彩更艳丽、亮度更符合人眼的感官需求。
虽然技术难度不断增大,成本和上市时间依然是视频和图像应用系统设计中两个重点考虑因素。同时,产品差异化和自主知识产权也是一些有想法的中国公司追求的目标。
如果单纯使用现成的专用视频图像处理芯片(ASSP),根本无法设计出具有自主知识产权的产品,无法体现产品的差异化。而且,使用ASSP很难做到灵活、易升级、以及紧跟技术发展的潮流。厂商自己开发ASIC的周期又太长,前期投入太大,风险很高,无法保证投资回报控制工程网版权所有,也无法保持技术领先。
目前,就算功能最为强大的单片DSP处理器也不能实时压缩(H.264)高清视频。而使用DSP阵列的成本让人难以接受www.cechina.cn,同时多片DSP处理器将带来系统分割和调试的困难,增加系统的不稳定性,增加PCB成本。如果使用单片FPGA,或采用FPGA加DSP处理器协同工作的方案,这些困难均可迎刃而解。
总之,使用FPGA技术可以帮助用户在保证合理成本的前提下,开发高性能的产品。利用FPGA的可灵活升级性,用户可以满足千变万化的市场需求,使自己的产品迅速推陈出新,紧跟业界发展趋势,做出有自己特色、自主知识产权的产品,始终保持产品的差异化和领先性。
图1 使用Altera VIP套件实现系统示意图 FPGA构架与算法实现 Cyclone II FPGA的构架非常适合于实时视频图像处理,其特点如下: 此外控制工程网版权所有,用逻辑单元或内嵌RAM块也可以灵活实现移位寄存器和乘法功能。 而且,在Cyclone II FPGA内部,可以实现一个或多个软处理器Nios II,用户可以根据自己的需求灵活定制Nios II及其外设。Nios II可以辅助高速视频通道作一些复杂的管理工作。这样,FPGA就兼有了硬件和软件(Nios II)的现场可编程能力。 前面已经提到过CONTROL ENGINEERING China版权所有,在FPGA内部,同一种算法可以由不同的资源来实现。当然,不同的实现方法具有不同的性能,用户可以根据FPGA的实际资源和性能要求灵活选择。色彩空间转换是视频处理中的常用功能,这里将举例说明如何使用FPGA的内部资源来实现这一算法。
* 全并行逻辑构架:实现逻辑和算术功能;
* 丰富的硬件乘法器:实现高速实时计算;
* 丰富的内嵌RAM资源:用于存取部分(或几行)帧信号;
* 高速外部RAM接口:用于存取整帧信号;
* 高速收发通道,支持LVDS,Mini-LVDS,RSDS电平:实现高速视频传送;
* 内嵌锁相环:作灵活时钟管理,产生各种频率和相位的时钟信号;
TV解码芯片将模拟电视信号转换成数字的Y?CrCb信号,其中Y?表示亮度,Cr和Cb两个信号表示色彩。在计算机系统中,常用R?G?B?来表示视频,R?G?B?是经过Gamma校正的RGB