产品信息

图像传感器

EVS(基于事件的视觉传感器)是一种检测各像素亮度变化,结合“坐标”与“时间信息”,仅输出变化像素对应的数据,从而实现高效率、高速低延迟数据输出的视觉传感器。

能捕捉动态(=亮度变化)的EVS

EVS是参考眼睛的感光机制建立的技术。
人眼感受到光线后,视网膜上的受体细胞就会将光信号转换成神经信息。后段的神经细胞将分别挑选出亮部和暗部,经由神经节细胞,将信息传递到大脑的视觉皮层。

另一方面,在EVS中,入射光在成像器的受光电路中被转换成电气信号。再通过放大器,由比较器根据亮度变化进行分离,形成变亮信号(正极性事件)和变暗信号(负极性事件),然后通过后段的信号处理,以EVS图像数据的形式被输出。

说明视频

  • 技术

  • 应用

EVS的动作原理

对于按像素分别捕捉到的光的亮度变化,当超过设定的阈值时,基于事件的视觉传感器就会将其检测为事件,然后输出发生事件的像素的坐标、时间和极性。此动作各像素是独立、非同步进行的。
这个图是表现传感器面如何捕捉球体动态的模式图。

基于事件的传感器的输出


各像素由受光部、亮度变化检测部构成。入射光在受光部被转换成电压。亮度检测部的差分检测电路将检测基准电压与从入射光转换而来的电压之间的差分,在比较器中,当这个差分超过正负两侧设定的阈值时,就会输出事件。


为了把事件发生时的亮度水平作为基准,会将电路复位,然后根据这一基准电压设定正侧(亮侧的变化)和负侧(暗侧的变化)的阈值。超出正侧阈值的输出电压的变化,即入射光的亮度变化超过一定比率时,将输出正极性事件,而发生超出负侧阈值的电压变化时,将输出负极性事件。

  • ①设定基准电压、正侧和负侧阈值。
  • ➁入射光亮度下降,超出负侧阈值时,输出负极性事件。
  • ③以事件输出的时间点为基准,设定基准电压、正侧和负侧阈值。
  • ④入射光亮度进一步下降,超出负侧阈值时,输出第二个负极性事件。
  • ➄以第二个事件输出的时间点为基准,设定基准电压、正侧和负侧阈值。
  • ⑥之后,当亮度上升、超出正侧阈值时,输出正极性事件。

如下图所示,因为是以对数形式将入射光亮度转换成电压,所以在像素亮度较低的状态下,可以检测出微弱的亮度差,而在像素亮度较高的状态下,则会在亮度差显著时做出反应,从而预防事件饱和的状态,以此覆盖高动态范围场景。


根据上述动作原理,可输出如下(右图)所示的EVS视频。

基于帧的传感器
EVS

支撑EVS的主要技术

实现业界最小像素尺寸的堆栈式小型、高分辨率传感器

传统技术中将受光部与亮度检测部配置在同一个平面上,而本产品划分出像素芯片(上部)与嵌入了信号处理电路的逻辑芯片(下部)两个部分。两个芯片堆栈在一起,利用Cu-Cu(铜-铜)连接实现各像素的导通。除了业界最小的像素尺寸4.86μm,还对逻辑芯片采用了40nm的微细工艺,实现高度集成,这样,仅需1/2.5英寸就能实现1,280×720的HD分辨率。

实现高速、低延迟

各像素独立检测到亮度变化后,会立即将数据作为事件输出。当多个像素发生事件时将凭借仲裁电路,按照事件的先后顺序依次输出。基于这样的逻辑电路,能够以低电力消耗、微秒级的高速度,仅输出有效的动态信息。

-H/W内置事件过滤功能

为应对各种用途,搭载了针对事件数据的多重过滤功能。
利用这一过滤功能,能够过滤LED闪烁等特定周期发生的无需识别的事件、很可能不属于动态被摄体轮廓的事件,以及调整后段系统可处理的事件发生率以下的数据量等。

  • (利用软件模拟的结果。相比左图削减了约92%的数据量)

相当于30fps的“帧化事件数据”的累积图(左图、右图)
过滤功能ON(右图)以后,有望达到在保留特定用途中有用信息的同时削减数据量的效果。
例如右侧(ON的图)中的“道路白线信息”就是有用的信息。

发挥EVS特性的应用事例

EVS适用的应用领域及利用示例

类别 应用示例
产业 检测与追踪高速物体、监控机械的动作、检测机械故障、3D检查与测量等
机器人技术 无人机、AGV、自走式清洁设备等的同时定位和地图创建(SLAM)、检测障碍物等
安防 检测与分析动体、测量人数、检测入侵者、在保护隐私的基础上监控人物等
医疗、科学测量 利用荧光显微镜的观察、检测流体中的颗粒、用于医疗等
游戏 手势控制、姿势识别、视线检测等

应用事例

① 液体监测

  • 基于帧的传感器的图像

    水流形成的模糊影像,让水滴看起来是连成线的,
    难以判断液滴的状态

    • EVS的图像

      可以捕捉每一粒水滴
      的状态[高速性]

    • EVS(超慢动作)

      按时间序列无缝捕捉数据,因此可从相同数据中获取超慢动作或特定时间的信息

② 人体追踪

  • 基于帧的传感器的图像

    身着深色服装的人很难看清
    在明亮的环境中,即使是基于帧的传感器
    也可以捕捉到人物的身姿

  • EVS的图像

    不依赖于服装,仅提取人物的轮廓
    不输出运动的人物以外的信息[节省数据]

  • 应用的输出

    [利用机械学习模型得到的检测结果]
    被识别为步行者
    无论是追赶还是奔跑,都能不间断地识别

③ 金属过程监控

  • 基于帧的传感器的图像

    火花的高亮度导致过度曝光
    使火花看起来如线条一般

  • EVS的图像

    可捕捉高速运动的每一粒火花[高速性]
    不输出火花以外的工夹具等的信息
    [高效率:节省数据]

  • 应用的输出

    为捕捉到的每一粒火花分配ID,实现可追踪性
    ⇒ 可对个数、尺寸、速度等进行解析

④ 3D测量

  • 实验环境

    传输带上移动的箱子被激光照射到
    用EVS相机拍摄反射光

  • EVS的图像

    激光照射到箱子表面后,
    根据基准面(传输带表面)反射与被测物(箱子表面)反射位置的偏差与时间信息生成3D图像

  • 应用的输出

    仅从激光反射光在EVS上的入射点可获取高度信息。时间分辨率高,因此可从非常精细的点上获取高度信息。

⑤ 振动监测

  • 基于帧的传感器的图像

    振动台上汽车模型的振动
    肉眼无法捕捉

  • EVS的图像

    只输出振动部位的信息,
    所以可肉眼识别振动

  • 应用的输出

    可解析每个像素的频率,并以二维方式显示

※Metavision是Prophesee公司的SW开发环境与算法库群。
※Metavision®是、PROPHESEE S.A.的注册商标。

索尼的EVS产品

* 点击该按钮将跳转到本公司的委托公司salesforce.com Co., Ltd.的网站。请使用英语咨询。

获取更多索尼产业设备图像传感器的最新资讯

点击此处订阅

索尼保留更改产品和规格的权利,恕不另行通知。

to PageTop