当人们考虑有两个图像传感器的应用时,首先很可能想到的是一个三维摄相机。不过,也有许多设计可以通过使用来自两个图像传感器的数据进行改善;一个例子是汽车司机录像机(CDR)的黑盒子,这通常是安装在后视镜附近,拥有两个摄像机(图1)。一个摄像机朝向挡风玻璃,而另一个摄像机指向司机。在本地的存储器芯片中存储摄像机的视频,如果有意外事故或疑问,可以进行检索。
图1 - 汽车司机录像机
两个摄像机和其数据的其他应用包括对监视的精确分析,在车中对行人的检测。在这些设计中,这两个相机的输出被用来创建一个包括深度感知的算法。有了这些数据,处理器可以非常精确地“看到”图像和从阴影或其他物体中辨别出人。
所有这些设计都要求有一个图像信号处理器(ISP)。然而,一个ISP支持两个传感器并不简单。虽然大多数ISP可以支持两个图像传感器的吞吐量,绝大多数ISP器件已经设计成只与一个传感器接口。即使有两个端口的ISP往往不能组合在一起,同时处理两个图像,或者,如果他们能做到,往往是非常昂贵的。
除了这个ISP接口被限制为只处理一个图像传感器之外,更高分辨率的图像传感器构成了另一个设计挑战。从历史上看,通过统一的CMOS并行总线(图2),所有高达720p30分辨率的图像传感器都被连接到ISP。
图2- 通过CMOS并行接口连接ISP
对于720p60和更高的分辨率,图像传感器无法通过CMOS并行总线进行高质量的传输。因为并行总线速度必须高于70MHz,开关噪声导致图像传感器的质量下降。为了解决这个问题,图像传感器供应商引入串行而非并行总线来传输数据。然而,由于许多ISP器件只设计成采用并行总线,需要将新的传感器的串行总线转换到这个并行总线(图3)。
图3 - 转换到并行总线
最后,对于需要3D算法的应用,这两个图像传感器必须同步工作。这不容易做到,因为每个传感器的制造商都有自己的方法和格式。例如www.cechina.cn,一些图像传感器使用I / O引脚来进行触发,而其他制造商则使用I2C,SPI或两者兼而有之。几乎所有的ISP都面临着设计挑战,以支持多种模式,从而确保各种传感器是同步的。
一些ISP厂商都试图来解决这个问题www.cechina.cn,通过提供两个独立的接口和两个处理引擎来支持两个图像传感器。但是,结果是构成了一个非常昂贵的ISP器件,不仅图像处理能力远远超过实际的需求,而且对软件开发人员而言,配置和编程更加复杂。
如果一个设计正确地支持格式化两个传感器,使它们同步,在数据发送到ISP之前以正确的格式将数据合并,所有这些双图像传感器的挑战都是可以克服的。如前所述,目前许多ISP可以处理两个传感器的吞吐量。关键问题是同步接受图像,用正确的格式,以及送至正确的总线。最具成本效益的设计解决方案是使用一个小的FPGA和帧缓冲存储器。
图4 - FPGA设计解决方案
图4展示了一个具有成本效益的解决方案,同步,合并和输出正确的格式到ISP。通过利用低成本FPGA,如莱迪思的MachXO2和一种廉价的LP SDRAM器件控制工程网版权所有,两个图像传感器可以桥接到一个ISP。 FPGA设计需要包含以下功能:首先,它必须从ISP接口接口至I2C或SPI寄存器配置。对于这两个传感器,此配置设置是相同的。 FPGA则需要发送串行配置数据(I2C或SPI)到两个传感器,并确保它们被正确地配置。在这一点上,两个传感器将有相同的配置,但他们仍然需要同步。对每一个特定的传感器制造,MachXO2 FPGA的灵活性能够实施必需的独特控制。为了确保驱动每个传感器的时钟完全一样,FPGA还将输出时钟到两个传感器。一旦两个传感器被设置和同步控制工程网版权所有,这两个传感器便开始传输图像数据。
然后FPGA将需要在I / O单元和逻辑结构中解串化的高速串行图像数据,因此它可以转换这个传感器的数据流为并行格式。然后MachXO2 FPGA寻找适当的控制字符,所以对于每个传感器,它能够识别帧的起始和行的起始。这通常是通过寻找控制字符或命令序列来完成的。一旦检测到传感器的图像数据,FPGA可以提取原始图像数据,并开始使用低功耗SDRAM存储器来存储帧。当然,在FPGA中需要一个LP SDRAM存储器控制器,用来正确的读和写图像数据。 FPGA执行的下一个功能是整理这个帧格式到所需的输出格式。例如www.cechina.cn,一个流行的格式是自上而下的配置,另一个是并排的配置(图5)。
图5 - 输出格式
在传送集成的传感器数据之前,FPGA中的传感器数据要转换成Bayer模式图像格式。这将确保正确的RGB颜色传递到ISP。有了已知的正确图像和输出格式配置,然后MachXO2 FPGA用并行总线输出格式化的数据到ISP。外部LP SDRAM用于缓冲传入的帧,由于前一帧已被送出。通常情况下,LP SDRAM运行两倍快的输出时钟到ISP。为了确保ISP的读取和识别数据,FPGA输出被设计成模仿并行图像传感器的输出。也就是说,FPGA产生时钟、帧有效、行有效,通常以一个12位数据总线送至ISP。
莱迪思半导体公司和Aptina已经实现了这个设计。通过使用莱迪思MachXO和两个Aptina的9MT024图像传感器,这个设计是一个非常符合成本效益的解决方案CONTROL ENGINEERING China版权所有,几乎所有的ISP都可以接受。配置传感器的所有主要功能,对它们进行同步,然后实施合适地格式化输出图像数据。更多关于这个设计的详细信息,请访问
www.latticesemi.com/dualsensorbridge 。