什么是事件视觉?
事件视觉功能可以克服传统机器视觉的固有限制,做到像眼睛和大脑一样的视觉处理方式
人眼与传统摄像机几乎没有共同之处。
自150年前传统相机出现以来,所有传统的视频工具都是通过每秒捕捉一些静止帧来表现运动。这种图像快速地展示,会造成一种连续运动的错觉。从翻页书到电影摄像机,这种错觉变得更加令人信服,但其基本结构从未改变。
对于计算机来说,这种运动的表现形式用处不大。相机在每一帧之间的信息是无法被捕捉的。即使相机在记录,它的每一张“快照”图像也不包含场景中元素运动的信息。而且在每张图像中,不相关的同一背景对象被重复记录,产生过多无用的数据。
参考一个高尔夫球手挥杆的视频
过度采样:天空,草地和树木
未采样:高尔夫球手、球杆和球的运
参考一个高尔夫球手挥杆的视频:传统传感器对整个场景应用固定帧率,假设为每秒30帧。重要的信息是球杆的摆动和球的移动, 但传感器会在帧之间漏掉这部分信息 ,反而反复记录他身后 静止的天空、树木和草地。
应用自然界的智慧
进化发展出一种优雅的解决方案,使自然视觉永远不会遇到这些问题。自然视觉不需要帧。当眼睛里的细胞检测到场景的变化——一个事件时,它们就会向大脑报告。如果没有变化,细胞就不会报告任何信息。物体移动得越多,眼睛和大脑对它的采样就越多。
这一过程使人类视觉能够收集所需的所有信息,而无需浪费时间和精力重新处理场景中不变部分的图像。
通过只记录变化,眼睛和大脑可以从每秒1000次的变化中收集有用的信息,而不需要动用大量的脑力。捕食者和猎物都没有时间浪费在处理无关信息上。
这是一种基于事件的视觉独立感受器,只收集所有必要的信息。
事件视觉系统仅感知场景的运动,忽略不相关的内容
参照眼睛和大脑,Prophesee创造了神经形态传感器和仿生算法。这种方法使得计算机视觉得到根本性的转变——从基于帧的传感器转向事件视觉系统,也称为事件摄像机。
每个像素只在感觉到运动时才被触发。在基于帧的传感器中,所有像素同时记录,而在基于事件的传感器中,每个像素完全独立。
帧与帧之间没有任何损失
当每个像素只有在被触发时才可以自由记录时,所创建的信息不会逐帧到达。相反,运动被捕捉为连续的信息流。帧与帧之间没有任何损失。
The Prophesee sensor records a rotating robotic arm as a continuous stream of movement.
颠覆性技术
通过绕过传统计算机视觉的固有限制,基于事件的视觉正在为覆汽车、人工智能和深度学习、工业自动化、物联网、安全、监控和医疗保健等诸多领域带来革命。