Prophesee参加2023中国(上海)机器视觉展(Vision China 2023)(图片来源:Prophesee)
见所非见,动态而来
见惯了传统视觉的五彩缤纷,你一定会惊讶于Prophesee在Vision China 2023现场呈现的图像,基本是移动过程当中的黑乎乎的触点边缘信息,相当于一个框架信息。
Prophesee VP 兼大中华区总经理杨雪飞先生表示,“我们Metavision?传感器的输出信号没有颜色,视觉以前绚丽多彩是为了满足人眼的需求,但是未来,视觉服务于人工智能。而人工智能的算法当中有一个非常重要的就是边缘计算,通过一个框架边缘来识别,然后做一系列追踪工作。”
针对AI算法,不需要很丰富的颜色,颜色在边缘算法当中不起任何作用,它需要的是一个动态的框架形式。Prophesee技术本身也是从仿生学而来,基于人眼机理。其实人眼的视网膜里有两种视觉感知细胞,一种叫视锥细胞,另一种叫视杆细胞。视锥细胞就是我们传统看到的传感器,它提供人脑丰富的色彩感知;视杆细胞就是现在看到的影像,它只捕捉一个光线的变化,然后形成一个动态的框架。
Prophesee的技术就是通过仿生学实现视杆细胞的作用,恰到好处地为AI提供高效的动态数据,而不输出那些黑暗、没有边缘信息之处。Prophesee输出边缘的数据,传统方法整幅画面是100万像素的话,有可能输出的信息只是当中的1%,甚至1‰,但是Prophesee把这个时间点所发生的所有动态变化呈现出来,因此提供的数据非常高效,这是第一个特点。
第二个特点就是和传统相机相比,传统相机都是以帧为单位的www.cechina.cn,通常一秒钟有24帧、30帧向外传输图像。但是Prophesee的影像是没有帧率的,只根据光线变化对外输出。它不是同步信号,而是异步信号,在时间域上是完全连续的。当然半导体实现的过程当中会带来延时性,所以目前事件和事件当中的最小间隔是以微秒为单位——换言之,可以在同一个地方输出上万次/秒的信息,相当于提供了上万帧/秒的动态影像。
Prophesee针对动态之源的捕捉,这种避免“眼睛也会欺骗人”的新科技为客户提供了无限可能。如未来汽车上的摄像头,多个传感器会合并成一个预处理器。当有很多信号进来,如果用Prophesee的传感器,就可以非常高效的压缩数据量,让数据带宽在有限的范畴之内得到尽可能多的动态信号,帮助不同的应用得到快速的机器视觉的捕捉,这是其一。
其二——高动态范围,因为通常拍照都有曝光时间,太明太暗皆不理想。但是Prophesee的传感器是每个像素独立进行工作,而且一直追随光线的变化量,不做长时间的累积。因为它没有曝光时间,明暗与否均能快速提供信号,所以动态幅度范围可以分别得到非常清晰的事件输出。
杨总进一步补充道,Prophesee的Metavision传感器的动态范围可以120dB、140dB无限地向上延伸。某欧洲天文观测采用EVS的技术去拍恒星。不管是自动驾驶,还是太空探索,似乎和我们平时生活距离遥远。但其实EVS为我们现实生活带来的变化是越来越近控制工程网版权所有,如手机应用。
在手机上的应用,用EVS的数据反哺到RGB的数据进行融合,拍摄夜跑或者孩子生日的动态场景,通过EVS的补偿,都能得到一个非常清晰的影像。
支持AI,无处不在
言及拍照效果,未来一定是朝AI的方向发展。手机厂商认为AI未来会提升拍照效果,但这需要一个过程。
AI算法其实都要落实在硬件的基础之上,所以高通几年前就开始在硬件方面进行铺垫,但是用什么样的软件来显示效果是个问题。正好www.cechina.cn,Prophesee掌握此道。因此从去年开始,高通和Prophesee建立了战略合作伙伴关系。
除此之外,老年人照护也是一大应用领域。通过人工智能的方式来及时的判断老人有没有摔倒。同时手机端会发出推送,通过短信消息告诉老人的(可能在另外一座城市的)子女,告诉他们家里面的情况,提醒子女关注。这对于未来老龄化社会以及老年人照护,都极具社会价值。
在美国,微软已经推出了类似的方案。不过每个月会收取相关的云端服务费,而使用Prophesee的方案无需云端的费用。未来所有的AI算法都放在云端,Prophesee的相机里面全部都能判断,直接输出结果,所以说没有任何的影像信息会被泄露出去。而且哪怕看到了这个影像,因为EVS本身也是隐私保护的影像技术,信息安全是有保障的。该方案计划今年就会落地并有相应的推广。
杨总再次强调,“Metavision不仅仅是一个传感器,我们还开发了相应的软件工具包,帮助用户更快第部署我们的技术。Prophesee是领先的EVS技术厂商,因为EVS技术新颖,输出的格式、数据和传统不一样,即异步输出,没有同步“帧”(图像)的信号。很多人还不知道如何使用这个技术。”
因此为了帮助用户更快的应用技术,Prophesee开发了Metavision软件包。这个软件包类似于底层应用的调用。如果客户今天想要追踪某一个物体,那如何识别、追踪?无需从数据层考虑如何开发,软件包里面就能够提供相应的应用,然后应用端的用户只要调用软件包,就能够更快的完成他们应用层的软件设计。
值得自豪的是,Prophesee是软硬件兼备的公司。今年Prophesee还正式开通了中文版官网主页,并且会建立中文版的开发者社区,方便国内各个大专院校在此进行交流,同时会分享Prophesee取得的各项成果,开放应用的软件包。
未来物联,时时相伴
因为机器视觉已经被广泛应用在工业领域当中www.cechina.cn,而且Prophesee相信未来随着工业自动化程度加深和人工智能的渗透,在这种背景下,就会衍生出机器对视觉的判断,一定是对速度要求越来越高。
在这个过程当中,和传统的相机相比,Prophesee的优势会越来越明显,1)速度更快,2)数据更有效。对Prophesee的传感器而言,因为它本身传的数据量非常高效,只捕捉动态信息,可以用更小的数据量提供更快的数据,这非常适合工业应用场景。
举例而言,Prophesee和国内某知名工业自动搬运机器人的合作——机器人在地面上行走的时候,地面会反光。传统相机看地面的反光就会因模糊而产生误判。但是用Prophesee的传感器,只要光源不变,因此这种地面反光对传感器不会产生任何影响。从而提高鲁棒性,减少失误率。
再者,车联网也是物联网的一种,车和车之间的沟通交流会成为未来自动驾驶的重点。因为Prophesee的传感器看到的是时间域上连贯的东西,这种技术叫做可见光通信(VLC),可见光通信未来在车互联上就可以发挥特长。通过光通信后车就知道了,会更早的提出预判,然后避免可能会发生的车辆碰撞交通事故。“像这种典型物联网的应用案例不胜枚举,所以我们相信未来EVS一定会成为物联网应用中非常重要的一环。”杨总对此充满信心。
Prophesee参加2023中国(上海)机器视觉展(Vision China 2023)(图片来源:Prophesee)
另外,建筑工地或者港口,Prophesee的应用都可以很好地保护工人安全。当无人机降落的时候,也是通过光通信,实现无人机之间的相互沟通。让无人机能够迅速找到正确的降落方式和正确的降落位置。
总而言之,Prophesee就是一个非接触式的震动频率的观测方式。可以直接通过影像判断传送带的频率,准确率和精度极高。在欧洲就有落地的工业级的应用项目,如粮食、药片的快速检测,而且这样的物联网应用未来会越来越多。
除了手机、IoT和工业之外,Prophesee也看到了在AR、VR的应用。如眼球追踪,它要实时的追踪眼睛看的方向,从而决定AR、VR显示的内容,或者进行一些操作。这个过程其实就对数据采集的数据量、后端的算力提出更高的要求。加之这类产品的电池小,头戴式,续航能力要持久,对功耗要求非常严格。Prophesee的方案只需要瞳孔一周的边缘信息就足够,能够显著降低功耗。
最后,杨总表示控制工程网版权所有,“源自对半导体行业的热爱,在离开索尼之后,依然觉得把海外的尖端技术带到国内并且一一落地,对我而言也是极有意义的事情。”
所以,我们相信,Prophesee的无色彩的背后会是各种应用的万紫千红!