製品情報

イメージセンサー

EVS(イベントベースビジョンセンサー)は、各画素の輝度変化を検出し変化したデータのみを「座標」および「時間の情報」と組み合わせて出⼒する、⾼速・低遅延なデータ出⼒を実現するビジョンセンサーです。

動き(=輝度変化)をとらえるEVS

EVSは眼が光を感じる仕組みを模した動作をするセンサーです。
⼈の眼は、光を感じると網膜上の受容細胞が光シグナルを神経情報に変換。後段の神経細胞で明部、暗部がセレクトされ神経節細胞を介して脳の視覚野に情報が伝えられます。

⼀⽅、EVSにおいては、⼊射光はセンサーの受光回路で電気信号に変換されます。さらに電気信号はアンプを通じコンパレータ(⽐較器)で輝度変化によって分離され、明転信号(プラスイベント)と暗転信号(マイナスイベント)となり、後段の信号処理を通じてEVS画像データとして出⼒されます。

EVSについて(動画)

  • 技術編

  • アプリケーション編

EVSの動作原理

イベントベースビジョンセンサーは、画素毎に取り込まれた光の輝度変化が、設定された閾値を超えた場合イベントとして検出し、イベントが発⽣した画素の座標、時間、極性を出⼒します。この動作は各画素独⽴して、⾮同期に⾏われます。図はボールの動きをセンサー⾯が如何に捉えるかを、模式図化したものです。

イベントベースセンサーからの出力


各画素は受光部、輝度変化検出部からなります。受光部にて⼊射光は電圧に変換されます。輝度検出部の差分検出回路で基準電圧と⼊射光が変換された電圧の差分を検出し、⽐較器においてこの差分がプラス及びマイナス側に設定された閾値を超えた場合イベントが出⼒されます。


イベントが発⽣するとその時点の輝度レベルが基準となるように回路がリセットされ、その基準電圧からプラス側(明⽅向変化)及びマイナス側(暗⽅向の変化)の閾値が設定されます。プラス側の閾値を超える出⼒電圧変化、すなわち⼊射光の輝度変化が⼀定⽐率を超えた場合プラス極性のイベントを出⼒し、⼀⽅でマイナス側閾値を超える電圧変化があった場合はマイナス極性のイベントを出⼒します。

  • ①基準電圧、プラス側・マイナス側閾値が設定されます。
  • ➁⼊射光輝度が低下し、マイナス側閾値を超えると、マイナスイベントが出⼒されます。
  • ③イベントが出⼒された時点を基準に基準電圧、プラス側・マイナス側の閾値が設定されます。
  • ④さらに⼊射光輝度が低下し、マイナス側閾値を超えると、2番⽬のマイナスイベントが出⼒されます。
  • ➄2番⽬のイベントが出⼒された時点を基準に基準電圧、プラス側・マイナス側の閾値が設定されます。
  • ⑥その後、輝度が上昇しプラス側閾値を超えると、今度はプラスイベントが出⼒されます。

下図で⽰す通り、画素は⼊射光の輝度を電圧に対数変換するために、輝度の低い状態ではわずかな輝度差を検出することができ、輝度の⾼い状態では逆に⼤きな輝度差が出た時に反応することにより、イベントが飽和する状態を防ぎ、広いダイナミックレンジを持つことができます。


以上の動作原理によって、EVS映像は下記(右図)のように出⼒されます。

フレームベースセンサー
EVS

画素の輝度変化は被写体が動いた際に発生するため,動く被写体の輪郭が抽出されたような映像となります。

(上記写真 撮影環境)
車のダッシュボードにEVSを搭載したカメラを設置し撮影した映像

EVSを支える主要技術

業界最⼩画素サイズ、積層型による⼩型、⾼解像度センサーの実現

従来技術では同⼀平⾯状に配置していた受光部と輝度検出部を、本開発品では画素チップ(上部)と信号処理回路を組み込んだロジックチップ(下部)に分割して配置しています。両チップは積層され、画素ごとにCu-Cu(カッパー・カッパー)接続を⽤いて導通しています。業界最⼩の画素サイズ4.86μmに加えて、ロジックチップには微細な40nmプロセスを採⽤し⾼集積化を図ることで、1/2.5型で1,280×720のHD解像度を実現しました。

⾼速・低レイテンシーの実現

各画素は独⽴して輝度変化を検出すると、イベントとして即座にデータを出⼒します。複数の画素でイベントが発⽣した場合、調停回路によってイベントの先着順で順番にイベントを出⼒していきます。このように発⽣したイベントを即座に出⼒する構成により、必要な動きの情報のみを低消費電⼒ながらマイクロ秒オーダーで⾼速に出⼒が可能になります。

H/W組込みイベントフィルター機能

さまざまな⽤途に対応するため、イベントデータに特化した複数のフィルター機能を搭載しています。
このフィルター機能を使⽤することで、LEDフリッカー等の特定周期に発⽣する認識に必要の無いイベントの除去、動被写体の輪郭に該当しない可能性の⾼いイベントの除去、後段のシステムが処理できるイベントレート以下となるようなデータ量の調整等が可能です。

  • (ソフトフェアによるシミュレーション結果。左図から約92%のデータ量削減)

30fpsに相当する「フレーム化したイベントデータ」の蓄積画像(左図、右図)
フィルターをON(右図)にすることで特定⽤途において有意な情報を保持したままデータ量の削減効果が期待されます。
右側(ONの図)は「道路の⽩線情報」が有意であるケースです。

EVSの特性を利用した活用事例

ターゲットアプリケーション

カテゴリー アプリケーション例
インダストリー 高速物体検出・トラッキング、機械の挙動モニタリング、機械故障検知、3D検査・計測 等
ロボティクス 自動走行・飛行 の位置推定(SLAM) や人との協調動作、障害物検知 等
セキュリティ 動体検出・解析、人数計測、侵入者検知、プライバシーを確保した人物モニタリング 等
医療、科学計測 蛍光顕微鏡による観察、流体中のパーティクル検知、医療用途 等
ゲーム ジェスチャーコントロール, 姿勢認識, 視線検出 等

活⽤事例

① 液滴モニタリング

  • フレームベースセンサー画像

    水流のブラー(blur)により繋がって見え
    液滴状態の判別が困難

    • EVS画像

      水滴を1粒ずつ
      捉えることが可能[高速性]

    • EVS(スーパースロー)

      時系列データをシームレスに持つため、同一データからスーパースローを得たり、特定時間の情報を取得可能

② 人物トラッキング

  • フレームベースセンサー画像

    暗所や暗い服は認識しづらい

  • EVS画像

    撮影環境や服装に依存せず、人の輪郭のみを抽出動いている人以外の情報は出力しない
    [省データ]

  • アプリケーション出力

    機械学習モデルによる検出の結果、歩行者として認識されている。追い越しても走っても、認識が途切れない

③ 金属加工モニタリング

  • フレームベースセンサー画像

    火花は高輝度のため白飛びし
    線のようにみえる

  • EVS画像

    高速に動く火花を1粒ずつ捉える [高速性]
    火花以外の治具等の情報は出力しない
    [高効率:省データ]

  • アプリケーション出力

    1粒ずつ捉えた火花にIDを付けトラッキング可能
    ⇒ 個数、サイズ、速度などの解析が可能

④ 3D計測

  • 実験環境

    ベルトコンベア上を移動する箱にレーザー光を照射し反射光をEVSカメラで撮影

  • EVS画像

    箱の表面にレーザーが当たった結果、
    基準面(コンベア表面)反射と被測定物(箱の面)反射の位置のズレと時間情報から3Dイメージを生成

  • アプリケーション出力

    レーザーの反射光がEVSに入射した点のみ高さ情報を取得可能。時間分解能が高いため、高さ情報を細かいポイントで取得

⑤ 振動モニタリング

  • フレームベースセンサー画像

    振動台上の自動車模型の振動を
    目視で捉えることは不可能

  • EVS画像

    振動している箇所のみ出力するため、
    振動を視認することが可能

  • アプリケーション出力

    各ピクセルごとに周波数を解析し
    二次元に表示可能

Metavision® Intelligence Suite は、Prophesee社(プロフェシー)が開発したイベントベースビジョンソフトウェアです。
Metavision®はPROPHESEE S.A.の登録商標です。

ソニーのEVS製品

※これより先は、当社が委託した株式会社セールスフォース・ドットコムのサイトへリンクします。

産業機器向けイメージセンサーのお知らせメール配信

ご登録はこちら

本資料に記載されております規格等は、改良のため予告なく変更することがありますので、ご了承ください。

このページの先頭へ