イメージング&センシングテクノロジー

イメージング&センシングテクノロジー

ソニーは、1996年にCMOSイメージセンサーの開発を始め、2000年にソニーとして初めてのCMOSイメージセンサー「IMX001」を商品化しました。当時のCMOSイメージセンサーは、薄暗い場所でノイズが多く、画素数でもCCDに劣っていました。動画の画質がSD(Standard Definition)からHD(High Definition)へと変わりつつあり、読み出し速度が遅いCCDは、いずれ高解像度データに対応できなくなることを見越し、ソニーは、2004年にイメージセンサーの開発をそれまでのCCDからCMOSイメージセンサーに注力することに、大きく舵を切りました。世界No.1シェアのCCDから、僅かなシェアしかなかったCMOSイメージセンサーへ転換する決断でした。その後、2007年には高速、低ノイズを実現した独自のカラムA/D変換回路搭載のCMOSイメージセンサーを、2009年には従来比2倍の感度を実現した裏面照射型CMOSイメージセンサーを商品化し、その性能は人間の眼を超えるまでになりました。さらに2012年には画素部分と信号処理部分の積層構造により、高画質、多機能、小型を実現した積層型CMOSイメージセンサーを商品化、2015年には小型、高性能、生産性向上を実現したCu-Cu(カッパー・カッパー)接続を世界に先駆けて実用化するなど、技術革新を重ね、常に業界をリードしています。

イメージセンサー キーテクノロジーの進化

カラムA/D変換回路搭載CMOSイメージセンサーはカラムA/D変換回路により、高速、低ノイズを実現 周辺回路技術の進化。裏面照射型CMOSイメージセンサーは裏面照射型構造により、高感度を実現 画素技術の進化。積層型CMOSイメージセンサーは積層構造により、高画質、多機能、小型を実現 積層技術の進化。Cu-Cu接続採用の積層型CMOSイメージセンサーはCu端子での直接接続により、小型、高性能、生産性向上を実現 チップ間接続技術の進化。

カラムA/D変換回路搭載CMOSイメージセンサー(2007年商品化)

A/D変換器を画素の垂直列毎に並列配置した独自のカラムA/D変換技術を採用。垂直信号線に読み出されたアナログ信号を最短で各列のA/D変換器に直接伝送することが可能で、アナログ伝送中に混入するノイズによる画質の劣化を抑えると同時に、高速での信号読み出しが可能。加えて、アナログ・デジタルの両回路で高精度なノイズキャンセルを行うデュアルノイズキャンセル方式により、低ノイズを実現。

裏面照射型CMOSイメージセンサー(2009年商品化)

独自の裏面照射型構造を採用。従来の表面照射型CMOSイメージセンサーに比べて、約2倍の感度と低ノイズを実現。シリコン基板の裏側から光を照射することで、配線やトランジスタの影響を受けることなく単位画素に入る光の量を増大させるとともに、光の入射角変化に対する感度低下を抑えることが可能。夜景などの暗い場所でもなめらかで高画質な映像の撮影を実現。

積層型CMOSイメージセンサー(2012年商品化)

従来の裏面照射型CMOSイメージセンサーの支持基板の代わりに信号処理回路が形成されたチップを用い、その上に裏面照射型画素が形成された画素部分を重ね合わせた積層構造。小さなチップサイズで大規模な回路の搭載が可能。また、画素部分と回路部分をそれぞれ独立したチップとして形成するので、画素部分は高画質化に特化し、回路部分は高機能化に特化した製造プロセスを採用できるため、高画質化・高機能化・小型化を同時に実現。

Cu-Cu接続採用の積層型CMOSイメージセンサー(2015年商品化)

Cu-Cu接続は、画素チップと論理回路チップをそれぞれの積層面に形成したCu端子で直接接続。これにより画素チップを貫通する必要がなく、接続の専用領域が不要となるため、イメージセンサーのさらなる小型化と生産性向上が可能。この技術がもたらす端子配置の自由度向上と高密度化は、今後の積層型CMOSイメージセンサーの高機能化に貢献。

センシング用途へ拡がるテクノロジー

イメージセンサー市場において用途の拡大が見込まれるセンシング領域にも注力しており、これまで培ってきた撮像した画像を見るためのイメージング技術に加え、さまざまな情報を取得・活用するセンシング技術を融合させることで、イメージセンサーの新たな用途と市場を開拓していきます。

イメージングは「画質」と「高速化」の軸(画質を高める:裏面照射型による高感度化、高速化を高める:カラムA/Dによる高度化)。2軸に「人の目を超えて -Super Realityの実現-」を目指す情報の軸を加えると「より楽しく、心地よい映像体験を実現」するセンシングとなる(距離画像センサー、オートモーティブ向けセンサー、偏光センサー)。

距離画像センサー 〜3D空間認識の可能性は無限に広がる

光源から発した光が対象物で反射し、センサーに届くまでの光の飛行時間(時間差)を検出することで、対象物までの距離を測定するToF(Time of Flight)方式の距離画像センサーです。ソニーの裏面照射型の画素技術により従来比1.5倍の高精度な距離画像を実現しています。AR/VR、自律的な動作が必要となるロボットやドローンなど、ジェスチャー認識や物体認識、障害物検知など限りなく応用範囲が広がります。

  • CMOSイメージセンサー画像
  • 裏面照射型距離画像センサー
  • 距離画像と白黒画像を合成した3D Model画像

オートモーティブ向けセンサー 〜さまざまな環境下での認識性能を高め、より安全・安心へ

業界最多*1有効540万画素のLEDフリッカー(LED標識や信号機などの撮影時に起こるLEDのちらつき)の抑制と、広いダイナミックレンジを同時に実現できるCMOSイメージセンサー「IMX490」を商品化しました。また、前方センシングカメラ向けにおいて、業界最高解像度*²を誇る有効742万画素積層型CMOSイメージセンサー「IMX324」も商品化しています。先進運転支援システム(ADAS)や、バックミラーの代わりとしてのカメラモニタリングシステム(CMS)用途で、多くの車への採用拡大が期待されます。

  • *12018年12月18日広報発表時点。
  • *22017年10月23日広報発表時点。

イメージセンサー画像

  1. 車載カメラ向け業界最高解像度

    遠方における比較サンプル画像

    IMX324撮影例 IMX324(742万画素)拡大画像 IMX224(127万画素)拡大画像
  2. 高感度2666mVを実現(標準値F5.6、画素加算モード時)

    低照度時(0.1ルクスの比較サンプル画像

    IMX324(画素加算モード)撮影例 IMX224撮影例

車載領域への取り組み:センサー・フュージョン

また、将来に向けた取り組みとしては、カメラ画像とLiDARデータ、ミリ波レーダのRawデータを融合して、車両などの認識を行う、センサー・フュージョンと呼ばれる技術の開発を進めています。センサーメーカーだからこそできる、信号処理やノイズリダクション、データの最適化の組み合わせによる技術です。こちらがセンサー・フュージョンの効果の例です。 霧、逆光、夜の雨といった、認識するには厳しい環境であっても、当グループのセンサー・フュージョンでは、より早期での正確な認識が実現できます。

カメラ画像とLiDARデータ、ミリ波レーダのRawデータを融合して、車両などの認識を行う、センサー・フュージョンを示す説明図
  • カメラ画像とLiDARデータ、ミリ派レーダの情報量の多いRawデータをフュージョン
  • 悪条件の環境下でも高精度な物体検出
  • シーン1:

    従来技術

    ソニーのセンサー・フュージョン

    霧で見えない先行車両検出
  • シーン2:
    逆光

    従来技術

    ソニーのセンサー・フュージョン

    逆光で見えない先行車両検出
  • シーン3:
    夜+雨

    従来技術

    ソニーのセンサー・フュージョン

    ヘッドライト・雨滴で見えない車両検出

車載領域への取り組み:ソリッドステート式LiDAR

ソニーの半導体技術を応用したSolid State LiDARは、高精度な測距技術で立体空間を3Dで正確に把握し、長距離での物体認識性能を進化させます。

業界初* SPAD画素を用いた車載LiDAR向け積層型距離センサー

車載LiDAR向けとして業界初となる、SPAD(Single Photon Avalanche Diode)画素を用いた積層型直接Time of Flight (dToF) 方式の距離センサーです。
SPAD画素と測距処理回路を積層して1チップ化することで、最大300mの距離を15cm間隔で、高精度かつ高速に測定できます。
*車載LiDAR向け積層型距離センサーとして。2021年2月18日広報発表時点。

SPAD画素とは?

SPAD(Single Photon Avalanche Diode)とは、入射した1つの光子(フォトン)から、雪崩のように電子を増幅させる「アバランシェ増倍」を利用する画素構造で、弱い光でも検出することができます。

アバランシェ増倍のイメージ図

直接Time of Flight方式(dToF)

測距方式のひとつで、光源から発し対象物で反射した光が、センサーに届くまでの光の飛行時間(時間差)を検出し、対象物までの距離を測定する方式です。
dToF方式を用いた距離センサーでは、単一光子の検出を行うSPAD画素が用いられ、長距離かつ高精度な距離測定を可能にします。

dToF方式のイメージ図

SPAD距離センサーの特徴

ソニーのSPAD距離センサーは、裏面照射型のSPAD画素構造を用いた画素チップ(上部)と、測距処理回路などを搭載したロジックチップ(下部)を、Cu-Cu接続を用いて一画素ごとに導通しています。
この独自の画素構造により、小型ながら高解像度を実現し、最大300mの距離を15cm間隔で*、高精度かつ高速に測定が可能です。
また、さまざまな温度環境や天候など、車載用途に求められる厳しい条件下での検知・認識による信頼性の向上や、1チップ化することによるLiDARの低コスト化に貢献します。

*高さ1m、反射率10%の対象物を、昼間曇天下に6画素(H)×6画素(V)加算モードで測定する場合。

  • 構造図と特徴
  • ポイントクラウド

偏光センサー 〜見えないものが見えてくる

従来の偏光カメラでは別々の部品だった偏光素子を裏面照射型CMOSイメージセンサー内に内蔵した新しいCMOSイメージセンサーです。フォトダイオード上に偏光素子を配置しワンチップ化したことで、コンパクトな偏光カメラを実現できます。太陽光の反射で見えにくい被写体を撮影できたり、物体の表面の凹凸がより細かく撮影できることで、車関連の用途のほかさまざまな応用が期待されます。

池を偏光センサーで撮影すると波が除去され、水中の鯉がクリアに見える説明写真
  • 錠剤充填
    検査

    イメージセンサー

    錠剤とアルミシートの画像

    偏光センサー

    錠剤とアルミシートの画像
  • レンズの
    歪み検査

    イメージセンサー

    メガネの画像

    偏光センサー

    メガネの画像
  • 太陽光の
    反射除去

    イメージセンサー

    車の画像

    偏光センサー

    車の画像

世界初AI機能を搭載したインテリジェントビジョンセンサー

インテリジェントビジョンセンサーは、世界で初めてAI処理機能を搭載したイメージセンサーです。高速なエッジAI処理を可能にし、必要なデータだけを抽出することで、クラウドサービス利用時におけるデータ転送遅延時間の低減、プライバシーへの配慮、消費電力や通信コストの削減などを実現します。

※:イメージセンサーとして。ソニー調べ(2020年5月14日広報発表時)

エッジAIとは?

IoTの普及により、あらゆる機器がクラウドに繋がり、クラウド上でAI処理をすることが一般的なっています。一方、クラウドで扱う情報量の増加に伴い、リアルタイムな情報処理を阻害するデータ転送遅延、個人を特定できるデータをクラウドに保存することに伴うセキュリティ上の懸念、またクラウドサービス利用時の消費電力や通信コストの増加などの課題が生じています。こうした背景から、端末側でAI処理をする「エッジAI」の必要性が高まっています。

エッジAIの方式

エッジAI処理を行うためには、エッジ(端末)側にAI処理機能が必要ですが、エッジ側のどこでAI処理を実現するかで違いがあります。カメラのシステム構成の中で、イメージセンサーとは別にAI処理用のプロセッサを搭載する方法もありますが、インテリジェントビジョンセンサーはイメージセンサーにAI処理機能を搭載しているため、センサー内でAI処理を行うことができます。

世界初のAI処理機能を搭載したイメージセンサー

画素チップとロジックチップを重ね合わせた積層構造を用い、ロジックチップには、通常のイメージセンサーの信号処理回路に加え、AIに特化した信号処理を担うソニー独自のDSP(Digital Signal Processor)と、AIモデルを書き込むことができるメモリーを搭載しています。これにより、高性能なプロセッサや外部メモリーを必要とすることなく、エッジAIシステムを実現することが可能です。

メタデータの出力が可能

画像情報を出力しないメタデータ(撮像データに属する意味情報)で出力し、扱うデータ量が削減できます。画像情報を出力しないことで、セキュリティリスクを低減し、プライバシーに配慮した対応が可能となります。また、通常のイメージセンサーの撮影画像に加え、ISP(Image Signal Processor)出力形式の画像(YUV/RGB)や、特定領域のみ切り出したROI(Region of Interest)画像など、ユーザーのニーズや用途に応じて出力データの形式を選択することも可能です。

必要な出力データ形式を選択可能

※AI機能は、統計的あるいは確率的な手法を用いる特性があり、その結果、誤って認識されたメタデータの付与等が為される場合があります。

高速なAI処理を実現

通常のイメージセンサーで動画を撮影する場合、出力された1フレームの画像ごとにAI処理に繋げる必要があることから、データの送信が多くなり、リアルタイム性を確保することが困難でした。インテリジェントビジョンセンサーは、ロジックチップにおいて、ISP処理および高速なAI処理(MobileNetV1の場合、3.1ミリ秒の処理時間)を行うことにより、動画の1フレーム内で全ての処理が完結します。これにより、動画を撮影しながらの対象物の高精度なリアルタイムトラッキングが可能となります。

※MobileNetV1:モバイル機器向けの物体識別を目的とした画像解析用のAIモデルの名称

レジにおける商品や作業のリアルタイムトラッキング例

AIモデルの選択が可能

ユーザーは、任意のAIモデルをメモリーに書き込み、使用環境や条件に合わせて書き換え、アップデートすることが可能です。例えば、本製品を採用した複数台のカメラを店舗に設置した場合、1種類のカメラで、設置位置、状況、時間など目的や用途に応じて使い分けることができます。入り口であれば入店者のカウント、棚であれば商品の欠品検知、天井であれば来店者のヒートマップ(人が多く集まる場所の検知)などの複数の用途に活用できます。また、これまでヒートマップの検出に使用していたAIモデルを、消費者行動を把握するために使用するAIモデルなどに書き換えることも可能です。

店舗内カメラの活用事例

Worker Monitoring デモ動画
※各種センサーと組み合わせて実現しています

このページの先頭へ