採用情報

プロジェクトストーリー

スマートフォン向け次世代距離画像センサー開発ストーリー

2019年夏発売の新型スマートフォンに搭載されたToF(Time of Flight)方式距離画像センサー「IMX516」は、ソニーセミコンダクタソリューションズ、ソニーLSIデザイン、ソニーセミコンダクタマニュファクチャリングの3社が密に連携することで、従来にない性能の高さを実現しながらごく短い開発期間でリリースにこぎつけた。デバイスの新たな可能性を切り開く次世代ToF方式距離画像センサーが、いかなる形で誕生したのか。4名のエンジニアに激動のプロジェクトを振り返ってもらった。

  • 森山 祐介

    ソニーセミコンダクタソリューションズ(SSS)
    担当:プロジェクトマネージャー
    先端物質科学研究科修了
    2009年入社

  • 馬場 智宏

    ソニーLSIデザイン(SLSI)
    担当:プロジェクトリーダー
    工学研究科 物質工学専攻修了
    2000年入社

  • 細井 隆宏

    ソニーセミコンダクタソリューションズ(SSS)
    担当:信号処理・ソフトウェア開発
    電子情報通信学専攻修了
    2000年入社

  • 小磯 憲介

    ソニーセミコンダクタマニュファクチャリング(SCK)
    担当:商品化開発
    工学部 物質科学学科卒業
    2002年入社

顔認証やVR・ARの可能性を飛躍的に高めるToF方式距離画像センサー

ソニーが今、新たに注目している技術の一つに「ToF方式距離画像センサー」がある。対象物に近赤外ビームを照射した上で、反射した光が返ってくるごく僅かな時間差を計算して距離を測定する――まさに最先端のテクノロジーが凝縮されたセンサーだが、これを活用すれば様々なデバイスの可能性が大きく広がると期待されている。

中でもスマートフォンが最も身近な例となるだろう。この数年、主流になったフロントカメラでの顔認証機能において、顔の形状を正確に測る技術の一つとして有効活用されはじめている。また、仮想現実(VR)や拡張現実(AR)に活用することで、様々なアプリの機能をよりリッチにするキーデバイスになるとも予測されている。

ソニーセミコンダクタソリューションズ(SSS)では、2015年、ToF方式距離画像センサーに関する高度なノウハウを持つベルギーのSoftkinetic Systems社を買収。以降、その技術をコアとして、ソニーブランドのToF方式距離画像センサーの可能性を探ってきた。試行錯誤を経て2018年には第一世代というべきIMX316が完成し、これが海外メーカー製のスマートフォンに搭載された第一弾となった。

ソニーLSIデザイン(SLSI)の馬場は、当時、別部署に在籍していたが、展示会で試作段階のIMX316を見たときのことをよく覚えている。

「ToF方式距離画像センサーを使えばARゲームのアプリなども、よりリアルに現実を反映できる可能性があり、仮想現実が一気に進歩すると感じました。また、カメラのアシスタント機能としても有用で、ソニーの得意とするCMOSイメージセンサーの質も大きく向上するのではないかとの手応えも得ました」(馬場)

その展示会で馬場は、IMX316の隣のブースで別商品のPRをしていた。まさかその数か月後、自分が次世代ToF方式距離画像センサーIMX516の開発にかかわることになるとは夢にも思っていなかった。

7倍の解像度を、ごく短期間で実現することに

スマートフォンに搭載された“第一世代”のToF方式距離画像センサーは、その可能性に顧客側も大きな期待を寄せていた。だが、当時の解像度では活用の幅が限定的になってしまっていたという。

「顔認証するにしても暗い場所では認識しなかったり、写真を誤って認識してしまうことがありました。よりセキュアで使い勝手の良いスマートフォンを実現するためには、第一世代よりも高レベルの解像度を実現し、細かく距離を測定できるようにしていかなければなりませんでした」

“第二世代”となるIMX516開発の総責任者となったSSSの森山はそう振り返る。

機能を高めたToF方式距離画像センサーを開発するべく、新たに立ち上げられたプロジェクトでは、従来の7倍の解像度を備えつつ、測距性能も大幅に高めるという高い次元を目指した。このレベルを実現すれば、顔認証の不具合がなくなるのはもちろん、手の指の形まで細かく認識できることで、アプリ等での可能性も高まると考えられた。モバイルデバイスでモノを360度にわたって正確にスキャンする技術も形にできることが予測されていたという。

初期段階では社内で次世代技術を検討していただけだったが、状況が変わったのは海外メーカーが新しいToF方式距離画像センサーに興味を持ち、次の機種に載せたいという話が舞い込んできたときだった。

「話があったのが2018年夏のこと。リリースは翌年夏でしたが、通常では到底間に合わない厳しいスケジュールであることに頭を抱えました」(森山)

世界で戦うスマートフォンメーカーだけに、ライバルに打ち勝つために全体の動きを早くしたいとの要望を受け、会議を重ねるたびに納期は何度も前倒しになった。最終的には顧客トップとソニートップの交渉にまで発展し、設計に関しては3~4カ月、センサーの開発全体を10ヵ月、スマートフォンの発表まで試行錯誤するソフトウェアの開発を含めると1年と少しという短期間で開発しなければならなくなったのだ。

開発者たちの情熱が、課題解決の糸口に

SLSIの馬場は展示会直後の異動を経てIMX316の最終工程に携わり、そのままIMX516のプロジェクトに参画する。グループ会社が連携して開発することになったIMX516を象徴するかのように、SSSの森山と並び、リーダーの一人としてプロジェクト全体を仕切っていった。

馬場たちが打ち立てた方針は抜本的な設計の見直しだ。

「解像度を7倍にするとはいえ、ToF方式距離画像センサーが大きくなりすぎると端末全体のバランスが崩れますので、光学サイズは4分の1に縮小させることにしました。これで解像度を高めるとなると、従来の構造では耐え切れないので大幅な設計変更が必要になりました」(馬場)

通常、新規画素開発をする場合、性能を検証するためにプロトタイプを何度も試作することになる。性能の大幅な向上を実現するのだから当然のことだが、今回は時間が圧倒的に足りず、通常のフローでは開発ができないという大きな壁に突き当たる。

森山と馬場は、この難題に頭を悩ませる。何度も試行錯誤をした結果、前回のIMX316の“遺産”の活用を思い立った。

「IMX316のプロジェクトのとき、情熱的なメンバーがそろっていたこともあって、忙しい合間を縫って自発的に一世代先のレベルの素子を仕込んでいました。これを本プロジェクト向けの画素構造として採用し課題を乗り越えました」(森山)

今回のコンセプトすべてを満足できる素子ではなかったため、多くの課題は残っていた。それでも前回の“遺産”なしには、今回の短期間開発は実現できなかったと森山は振り返る。変化の激しいこの業界の未来を予測し、先回りしてチャレンジした開発者たちの挑戦者精神が大いなる力となったのである。

技術者としての自負がエネルギーに

SSSでソフトウェア開発に携わってきた細井は、かつてはDVDレコーダーやデジタルテレビのLSI開発に取り組んでいた。ソニーのCMOSイメージセンサーの市場需要が高まると、細井もCMOSイメージセンサーの開発に専念。そして、3年前からは将来のソニーの看板となるであろうToF方式距離画像センサーの開発を任されている。

今回のプロジェクトで細井は、信号処理や制御ソフトウェアの開発を担当した。画素数が増えるとソフトウェアの処理量も増えるが、それに伴いスマートフォンの動きが遅くなったり、熱を発するという課題が発生してしまう。データ量が圧倒的に多くなる関係上、高速化も難しくなってくるという。

「信号処理をハードウェア化しアプリケーションプロセッサに組み込むやり方だと製品化までに2~3年かかってしまうので、今回はソフトウェアで対応することにしました。さらに、アルゴリズム(問題解決のための手順や計算方法)の開発についても時間が限られていたため、イメージセンサー向けに社内に蓄積されてきた技術の中からシンプルかつ性能のよいアルゴリズムを参考に構築しました」(細井)

苦難を乗り越える原動力となったのは、細井の中に秘められた技術者としてのプライドだ。細井自身、ToF方式距離画像センサーについて何も知らないところからスタートし、前回のIMX316を完成させた。以前、携わったCMOSイメージセンサーの開発では技術の完成度が上がっていることもあり、機能によってある程度分業がなされていた。しかしToF方式距離画像センサーは発展途上なだけに、一人の技術者がすべてを俯瞰して見なくてはならなかったという。

「未知の世界に突き進む嵐のような状況で第一世代を形にしていく中、自分たちもToF方式距離画像センサーへの理解を深め、成長しながら乗り越えてきました。前回のIMX316をなんとか形にした経験がありましたから、今回のIMX516の難題に関しても『まずはやってみよう』という感覚で挑戦することができました」

そう細井は力強く語る。

課題を乗り越えるためのキーワードは原点回帰

SCKの小磯は、設計者と製造工場を橋渡しするエンジニアとしてキャリアを積んできた。製造寄りのエンジニアだからといって、設計が終わってから作業開始していたのではスピーディなモノ作りは実現できない。小磯はどんなプロジェクトでも設計の初期段階から参画して、商品化のスピードを上げる方法を模索している。

小磯もまた前回のIMX316の開発に参加していた。ToF方式距離画像センサーがどういう技術なのか全く知見のないところからスタートしたが、関係者との対話を密にすることで乗り越えていった。

「今回は本当にスケジュールが厳しく、要望通りに実現できるのかという思いもありました。しかし、それでも頑張れたのは、事業部のみなさんの情熱に心を動かされたからにほかなりません。スマートフォンの未来を切り開く、第二世代のToF方式距離画像センサーが秘めた大きな可能性について話を聞き、おのずとモチベーションが沸きましたね」(小磯)

いくつもの壁があったというが、最大の難所はスマートフォンの正式リリース発表直前に訪れた。量産直前に不具合が発見されたのだ。

「ToF方式距離画像センサーの肝となる部分の不具合だったため急遽、設計関係者を招集し議論を重ね、過去の知見を探ったりして対処方法を探しました。どこかに見落としはないかと、電子の動きなど教科書に載っているような物性の基礎に立ち帰って原因を探り、対策を練り上げました」(小磯)

文字通り原点回帰をすることで、小磯は大きなトラブルを乗り越えていった。

行動する理由を伝えるのがマネジメントの極意

新デバイスの開発は一人では決して成し遂げられない――森山はそう常々感じてはいたが、今回は改めてその思いを強くした。

「たとえ難しい案件であったとしても、真摯な姿勢で、本気でやり遂げようと意志を持って行動すれば、ソニーのメンバーたちは自然と一緒に進んでくれます。今回、その輪は顧客にも広がり、ToF方式距離画像センサーの能力を最大限に引き出すべく、スマートフォン全体の仕様を変えるような無理なお願いも通してもらえました。周囲の力があってこそ、初めてリーダーの仕事は成り立つのです」(森山)

人を動かしマネジメントする身として、森山が心がけてきたのは“なぜそれが必要なのか”を伝えること。闇雲にお願いをしたところで人は行動をしてくれない。どうしてその難題に取り組むのか、理由を明示すればおのずと価値観を共有できるようになり、同じ志を持つ仲間として行動してくれる。今回のプロジェクトではそのことに気付かされる瞬間が多々、訪れたそうだ。

世界と戦えると確信したその瞬間

一方、もう一人のリーダーである馬場は、“世界に勝つ技術”を作るという高い志を持って仕事に臨んでいた。

「ソニーは世界最先端の技術を手掛けている上に、顧客であるスマートフォンメーカーも世界の名だたる企業です。常日頃からコンペティターは“世界”であり、世界の同業者に恥じない技術を作るという意識を持っています。これは私以外のエンジニアも一緒の気持ちだと思います。実際、海外の論文を熟読したり、学会に参加して最新研究に触れたりして、テクノロジーに対して感度の高いアンテナを広げることができる人材がそろっています」

馬場にとって今回のプロジェクトで記憶に残る瞬間がある。森山と共に設計の最終確認をしたとき、この解像度、この精度ならば世界と戦える――森山とそんな言葉を交わしたシーンだ。

「同業他社がどんなレベルのToF方式距離画像センサーを開発しているかは知る由もありません。それでもなお、頂点を目指すソニーのメンバーがこれだけやり切ったのだから大丈夫、世界に勝てる技術は確かに作られたと直感しました」

IMX516により、高い解像度のToF方式距離画像センサー市場が、世界で初めて形作られたと馬場は自負する。顧客の反応もよく、スマートフォンの新しい未来を切り開いたとの高い評価も得ることができた。IMX516開発プロジェクトは、文字通り成功裏のうち終結した。

ワクワクするような未来を開拓し続ける

今後、ToF方式距離画像センサーはスマートフォンのみならず、産業機械や工場等の人やモノの感知システムなどでも活用される可能性がある。ToF方式距離画像センサーを切り口にした新たなテクノロジーにより、世の中がダイナミックに変革されていくことになるだろう。

「今回のようにグループ会社がスムーズに連携し、一体となって新しいモノ作りを実践できるというのはソニーの強みの一つです。どのグループ会社にも新しい挑戦を応援してくれる文化が根付いており、だからこそ私たちは失敗を恐れずに前を向いて頑張っていけるのだと思います」(森山)

プロジェクト遂行中、測距性能の向上に関してメンバーが議論していると、いつの間にか周囲の技術者が集まってきて大きな議論の花が咲くシーンが何度もあった。世の中をもっとよくするために、情熱的なモノ作りをしていこう――そう心に決めているエンジニアがそろっているソニーならば、誰も経験したことがない数多の革新を、これからも世に送り出していくことができるはずだ。

このページの先頭へ