インタビュー

製品・技術インタビュー「モバイル用ToF方式距離画像センサー」

人や背景だけでなく、ジェスチャーまでも正確にとらえる
モバイル用Time of Flight(ToF)方式距離画像センサーが
スマートフォンをはじめエンタテインメントコンテンツに革新をもたらす

2022年2月22日

レーザーを照射して、対象物との距離を正確に測定することができるTime of flight方式距離画像センサー(以下、ToF方式距離画像センサー)。すでにハイエンドモデルのモバイル端末には搭載されており、写真撮影時のオートフォーカスやボケなどの機能で活用されています。顔、背景、手や体の動きなどを正確にとらえることができるモバイル用ToF方式距離画像センサーですが、普及モデルへの搭載がなかなか進まないという課題もかかえていました。
そこでソニーセミコンダクタソリューションズグループ(以下、当グループ)が選んだ手段が、まだ誰も見たことがないモバイル用ToF方式距離画像センサーを活用したアプリ開発でした。今回は、初めてとなる日本と中国の上海、北京、深圳、成都の5拠点をつないだ大プロジェクトの狙いと、距離を越えて新しいアプリはどのように生まれたのかを探ります。

プロフィール

鎌野 浩己
ソニーセミコンダクタソリューションズ株式会社
モバイルセンシングシステム事業部
主な業務:モバイル用ToF距離画像センサービジネス開拓
役割:HQ側アプリケーションビジネス担当
土井 宏真
ソニーセミコンダクタソリューションズ株式会社
システムソリューション事業部
主な業務:PoC開発、SDK開発、認識処理開発
役割:SDK開発、アプリ技術監修
Ivy Yu
Sony Semiconductor Solutions(Shanghai)Limited
ビジネス開発事業部
主な業務:モバイル用ToF距離画像センサー向けのアプリケーション、ユースケ―ス探索およびアプリ会社等との協業
役割:モバイル用ToF距離画像センサー向けのビジネス開発
Pop Zhang
Sony(China)Limited
クリエイティブデザインチーム2
主な業務:クリエイティブ&コミュニケーションデザイン
役割:デザインプロデューサー

人物や背景のみならず、ジェスチャーも認識でき
さまざまな領域で活用が期待されるToF方式距離画像センサー

ToF方式距離画像センサーとは、どのようなものなのでしょうか

鎌野:ToFとはTime of flightの略称で、人や物の距離情報を高精度で感知できる技術です。レーザーとセンサーがセットになっているのが特徴で、いくつか種類があります。
その中でもiToFはIndirect ToFの略称で、対象物に向けて照射したレーザーが反射してセンサーに返ってくる時に、対象物の距離に応じて照射光と反射光の位相差を利用し距離を計算するセンサーになります。
※以降、ToF方式距離画像センサーはiToF方式距離画像センサーをさします。

ToF方式距離画像センサーは、どのような用途で使用されていますか

鎌野:スマートフォンなどのモバイル機器や車載用、ドローンなどに活用されています。
また、単純に距離を測定するだけでなく、空間やモノをキレイに撮ることができるので、eコマースやARエフェクトなどさまざまシーンで活用され始めています。
具体的には、スマートフォンではカメラ撮影時の背景のボケやオートフォーカス機能に活用されていますし、車載用ではハンドジェスチャーの認識にも使われています。

土井:ToF方式距離画像センサーは手の認識能力が非常に高いので、車載用では「手を右に回すと音量を上げる」「手を左に回すと音量を下げる」といったジェスチャーによる操作が可能になります。

対象物の認識に優れているToF方式距離画像センサーですが、これまでどのような課題をかかえていたのでしょうか

鎌野:活用シーンは確実に増えているものの、多くのユーザーが当たり前に使うようなキラーアプリが登場していない状況があり、その結果、「スマートフォンメーカーはキラーアプリがないため、ToF方式距離画像センサーを搭載させにくい」「アプリメーカーは、スマートフォンに搭載されていないから開発意欲が湧かない」という、鶏が先か、卵が先かの状況が継続していました。
それならば自分たちがToF方式距離画像センサーを活用したアプリ開発を後押しして、スマートフォンメーカーとアプリメーカーの双方にアピールしていこうと考えました。

土井:開発の側面から言いますと、レーザーを照射するので通常のカメラよりも電力を使います。また、デプス(距離情報)を計算するので、そこでも電力を使います。スマートフォンメーカーからすると、センサーが一つ増えるのでスペースも必要になります。もちろん、ToF方式距離画像センサーならではの付加価値もあるわけですが、すべてのスマートフォンに搭載させたいと思うほどの突出した付加価値にはなりきれていないために、ハイエンドモデルには搭載されているが、それ以下のモデルには搭載されていないという状況になっています。
例えば、オートフォーカスやボケ機能と一口に言っても、ToF方式距離画像センサーを使って行うものと、そうでないものがあります。このセンサーを使っていないものは、画像のコントラストを計算してフォーカスしたり、AI処理でRGBの画像から無理やり人と背景を分離してボケをつくり出すといった方法が用いられています。こうしたAI技術で十分だと思われている点も、逆風の一端になってしまっています。

鎌野:しかし、スマートフォンメーカーから「面白いアプリがあるならToF方式距離画像センサーを搭載したい」という声はいただいていますので、私たちはアプリ市場を立ち上げ広げていくためのドミノの最初の1ピースをなんとか倒す試みをしようと思い、今回のアプリ開発に挑戦しました。

スマートフォンメーカーやアプリメーカーは画像のAI処理で十分だという認識を持っているのでしょうか

土井:私は決してToF方式距離画像センサーに対してネガティブであるとは思っていません。あるお客さまは、デプスの価値を見出しいち早くスマートフォンにToF方式距離画像センサーのカメラを搭載し、このセンサーを活用したアプリの開発用にSDK(Software Development Kit)*1も提供していました。しかし、ToF方式距離画像センサー搭載スマートフォン端末が少ない状況下でアプリ開発は進みませんでした。こうした経緯から、現在は通常のカメラとAI処理でいろいろなことをやりきろうというスタンスに代わっています。一方、別のお客さまは、ToF方式距離画像センサーを搭載した上で垂直統合で端末からアプリまで一気通貫で開発しているため、カメラやセンサーに何を搭載するか、それを活用するためのアプリとしてどのようなものを用意するかをすべて自分たちで決められるので、素直にToF方式距離画像センサーの価値を活用しようと動いてくれているのです。
AI処理においてデプスの優位性は確実にあるので、その価値訴求を継続して行い、ノウハウや開発者を増やしていくことが重要だと考えています。
*1:ソフトウェア開発キット

ToF方式距離画像センサーでないと実現不可能で、使って楽しいアプリの開発

開発したアプリは、どのような点に力を注いだのでしょうか

Ivy:当グループは企画、クリエイティブデザイン、SDK開発を、アプリ開発パートナーにリリース作業などを担当いただきともに進めました。最初に私たちはToF方式距離画像センサーをみんなに使ってもらうためにユーザーが楽しめるものをつくらなければいけないと考えました。
そのために、「このセンサーで何ができるのか」という技術的な部分を土井さんや中国の技術スタッフと勉強しました。その上で、TikTokなどのユーザーリサーチを行い、今どんなものが流行っていて、どんなことに興味があるのかを徹底的に調べ上げたのです。

Pop:デザインチームとしても、最初にToF方式距離画像センサーで何ができるのかについてかなりの時間を費やして研究しました。特にこのセンサーならではの特長を活かすためには何をするのがベストなのかを知らなければいけませんし、それを熟知した上で、アプリを開発する必要があると考えました。
もう一つ大切に考えたのは、ターゲットのことをよく知ること。アプリを使ってもらうためには、ターゲットがどのようなアプリを楽しいと感じ、どんな楽しみ方をしているのかを知らなければなりません。
幸いなことに、中国拠点のデザインセンターには開発に必要な最低限のラインを持っていますので、ここで試行錯誤することで技術的な課題を可能な限り排除しつつ、これまで誰も見たことのない独創的なものを創り出そうと試みました。

日本と中国とにまたがった今回のプロジェクトはどのように進めたのでしょうか

鎌野:私たちが今回メインでターゲットとしたスマートフォンメーカーは中国にある企業が多かったため、IvyさんやPopさんなど現地の方たちを中心に検討を進めてもらいました。特にエフェクトの演出については、土井さんと中国にいる開発の方々とで密に話し合ってもらいました。

土井:私たち日本の開発チームはアプリ開発に必要なプログラムなどをパッケージ化したSDKを出します。そして中国には、実際にアプリを開発する企業があります。時勢的な制約もあり、すべてオンラインでコミュニケーションする必要があったので、私が現地の企業に対して直接技術サポートをすることは難しいと考えました。そこで、上海のデザインセンターに技術メンバーを立ててもらい、私はそのメンバーに技術面のレクチャーを行い、現地のアプリ開発企業に対しては、上海デザインセンターのメンバーに技術サポートをしてもらうようにしました。全体の進捗に関してはスケジュール管理アプリを使い、現地の進捗をこちらの厚木で確認しつつ、彼らの手に余る課題が発生した際には、私が直接サポートに入るなど、なるべく現地の開発チームに時間的、距離的なストレスが溜まらないように心がけました。

現地に一度も足を運ばすに、すべてオンラインで進行させることに難しさはありましたか

土井:そうですね。どういうわけか、私はIvyさんにとても怖がられていまして(笑)「ここは、これではダメ」「ここはもっとこうしないと」と技術的な部分の指摘をしているだけだったのですが、Ivyさんは私が怒っていると感じたようなんです。オンラインだと場の雰囲気がうまく伝わらないという部分があり、実際に会って話していたら起こらないすれ違いみたいなものは感じました。

Ivy:土井さん、すみませんでした(笑)
私は技術にそこまで詳しくなかったので、土井さんの話を理解するのはとても大変でしたし、土井さんの話を正確に理解できないと、中国のメンバーが課題の解決に取り組めませんので、技術理解にとても苦労しました。
また土井さんの言うように、今回は上海、深圳、北京、成都、厚木の5の拠点をつないで開発していたこともあり、オンラインミーティングでのコミュニケーションミスを避けるのは難しいと感じました。

鎌野:エフェクトは動画なので、実際のサンプルが出てくるまではイメージボードなどの静止画で共有されるんです。その静止画がどのように動くのかは、各メンバーがイメージで補完する部分になりますので、イメージのズレはどうしても発生してしまいました。
サンプル動画が出てくると「やっぱりここはこうしたほうがいいね」と細かな部分にいろいろな意見が出て議論が進むのですが、動画を見るまではそれぞれのイメージの中での話なので、細かな部分までは詰められないということはよくありました。

Pop:私はこのようなプロジェクトは初めての体験でしたので、最初に職業や専門分野などバックグラウンドの違う人たちを集めてワークショップを行いました。そこではToF方式距離画像センサーでできることをわかりやすく表現したイメージ画像を見てもらいながら、みんなでコンセプトを考えていきました。
考え出したコンセプトを基にドラフトを描き、それをイメージボードとして提案しました。その後、より具体的なエフェクトの動きをイメージしやすくするために、フォトショップでストーリーボードをつくり上げていきました。
サンプルが上がってきたときに「思っていたものと違う」とならないように、このストーリーボードはより具体的に1枚1枚丁寧に制作しました。
また、コミュニケーションの難しさということでは2つありました。
一つは、言語の問題です。1つのミーティングでも、中国語、日本語、英語の3つの言語でコミュニケーションを行っていましたので、コミュニケーションミスが起こりやすかったと思います。
そしてもう一つは、TikTokなどのアプリで流行っているワードやギャグがあるのですが、地域や文化の差もあり、中国語で流行っているワードを日本語や英語にするのが非常に難しく、その面白さがメンバーに伝わらないといったこともありました。

今回のアプリ開発で苦労した点を教えてください

Pop:私が一番苦労したのは、技術を理解することでした。土井さんからさまざまな資料をいただきましたが、それらを見ても実際にどのようなエフェクトが可能なのか想像しにくく、また技術的にどこまでが実現可能なのかもわからなかったので、かなりの試行錯誤を繰り返しました。
もう一つは、ToF方式距離画像センサーのエフェクトとRGB(画像)のエフェクトをきちんと区別するということ。このセンサーの優位性を活かすエフェクトをつくろうと考えるのですが、RGBでもできるエフェクトになりがちで、土井さんから「それはRGBのカラー認識とAIの処理でも可能」という指摘を何度も受けました。「被写体との距離を正確に測れる」、「対象物を3次元の座標でとらえられる」からこそできるToF方式距離画像センサーの面白いエフェクトの企画に非常に苦労しました。

土井:やはりToF方式距離画像センサーの特性を活かしたアプリでないと意味がないので、その部分は企画段階からかなり厳しくチェックしました。でも、そのRGBのカラー認識とAI処理でできることとこのセンサーでなければできないことの区別は技術に詳しくないと難しいことなので、技術理解の部分は中国拠点のデザインセンターの皆さんはだいぶ苦労したかなと思います。

Ivy:デザインセンターでは技術を理解するために3カ月くらいかけて勉強しました。だからこそToF方式距離画像センサーの特性を活かしたアプリをつくれたと思っています。

技術的な理解に加え、今回は面白いかどうかという基準も大切だったわけですね

土井:デザインセンターの彼らが企画したものは、基本的にはどれも面白いアイディアでした。なので「ToF方式距離画像センサーの特性を活かしているか」という部分が大きな判断材料となっていました。

Pop:企画のアイディアは30以上考えていましたね。その中から実際のストーリーボードに落とし込んだのは25案くらい。そのうちの5つが実際にアプリとしてリリースされることになりました。

こうして企画されたアイディアの開発はすんなりと進んだのでしょうか

土井:プログラム開発の部分では、指を鳴らすとToF方式距離画像センサーが手の動きを認識して背景が切り替わるというアプリがあるのですが、最初に内部リリースしたバージョンではうまく認識できないという問題が発生しました。実は、指を鳴らすという行為の規定がそもそも曖昧なんです。この手の動きの認識は、指を鳴らした状態をたくさん撮影して「こういう手の形をしたときに指を鳴らしている」ということをAIに学習させていくのです。
この学習は私が一人で行っていたのですが、指の鳴らし方に個人差やクセがあることに最初は気が付かなかったのです。私は手のひらを上に、中指と人差し指が上に向いた状態で、親指と中指をこすり合わせて指を鳴らすのですが、指の鳴らし方は人それぞれ違うんですよね。人差し指を折りたたんでいる人もいれば、手のひらを下に向けて鳴らす人もいます。最初のモデルをつくった時は、たまたま私と周りの人間が同じ指の鳴らし方だったのでうまくできていたのですが、中国のチームに試してもらったら、いろいろな鳴らし方があることがわかりました。
そこで、あらゆる鳴らし方を学習させるために、腱鞘炎になるくらいいろいろな角度、指の形で何千回と指を鳴らしました。

より多くのクリエイターがデプス情報を活用できるようになると
写真や動画だけでなく、音楽や感情表現など幅広い分野に可能性が広がっていく

今後のToF方式距離画像センサーの可能性として、どんな活用が考えられるのでしょうか

鎌野:「現実世界とバーチャル世界をつなぐ」ということがキーワードになってくるかなと思っています。今日のインタビューは、私と土井さんは同じ場所に集まっていますが、なぜ集まるかと言えば、実際に会って話すほうが熱量やニュアンスといった伝わる情報量が多いからです。これらの情報もオンライン上でも伝えられるようになれば、もっと時間や距離を越えたコミュニケーションの可能性は広がると思っています。そのためには、平面ではなく物事を立体的に認識することは重要だと思いますし、その部分でToF方式距離画像センサーは大いに役立つのではないかと思っています。

土井:今私はVTuber用のアプリ開発に携わっています。今のVTuber用のアプリというのは顔認識によってキャラクターに動きを付けています。私たちが今開発しているものは、顔だけでなく手の動きも認識できるので、よりポーズの多様性が増し、感情表現がとても豊かになります。手や体など認識する部分を増やすほどに感情表現は豊かになっていくと思いますので、感情を表現していくという部分でToF方式距離画像センサーを役立てていければと考えています。

Ivy:今中国ではメタバース*2といわれる仮想空間を使ったコミュニケーションや経済活動が流行っていますので、こうした部分でもToF方式距離画像センサーの技術は大いに活躍できると考えています。ユーザーがARなどを使ってインタラクティブなコミュニケーションができるようになれば、より一層このセンサーの付加価値は高まっていくと思っています。

*2:オンライン上に構築された現実世界とは異なる3次元の仮想空間やそのサービスのこと。

Pop:これまでToF方式距離画像センサーのデプス情報はビジュアルへの反映に使ってきましたが、今後サウンドや感情の表現に応用できるようになると、誰も見たことがない表現が可能になりますし、このセンサーを使って自分を表現したいと思うユーザーが増えるのではないかと考えています。
実際、サウンドARとか、どこに音を配置すればよりよい音場になるかなど、多くのアーティストがデプス情報を活用したいと考えていますので、今後ますます需要は増していくと思っています。

今後、挑戦したいことを教えてください

鎌野:私は人、物、空間の情報が細部まで認識でき、かつ有効に活用されることでより便利な世界が実現できると思っています。ToF方式距離画像センサーに限らず、ソニーの持つさまざまなイメージセンサー技術やプラットフォーム、コンテンツを組み合わせて人々の生活をより豊かにできるような活動に携わっていければと思っています。
お客さまからも、ソニーにはさまざまな技術があるので「それらを組み合わせてもっと面白いことできないのか」というお話はよくいただきます。それだけお客さまからの期待値は高く、私たちの持っている技術と世界中のクリエイターがつながれば、全く思いもしなかったようなものが生まれるのではないかと思っています。

土井:技術をより多くの人に触ってもらってさまざまな発想をしてもらうことがとても大事だと思っています。より使いやすいSDKをつくり、公開することで開発者や技術情報がオンラインに蓄積され、デプス利用アプリが開発されるエコシステムが出来上がっていくと考えています。
スマートフォンのアプリも初期は小規模でしたが、開発環境を整えることで多くの企業やクリエイターがアプリを開発・発表するようになりました。AIもSDKがオープンにされたことで一気にAI開発・活用が進みました。同じようにデプス情報をスマートフォンで活用しやすいSDKを公開することで、多くの人に使ってもらえるようにしていきたいと考えています。

Ivy:私も土井さんの言っていることと通じますが、デプスのコミュニティをつくっていきたいと思っています。デプスの可能性に今多くのアーティストが興味を持っていますので、その輪を大きく、可能性豊かなものにしていきたいです。

Pop:もっともっとToF方式距離画像センサーの優位性を表現できるようにしていきたいと思っていますし、モバイルに限らず他のデバイスにもこのセンサーを活用したいと考えています。例えば、中国ではスマートTVが流行っていますが、テレビにToF方式距離画像センサーを付ければ、これまで以上にさまざまなことができるようになりますので、そうしたことに取り組んでいければと思っています。

  • facebook
  • twitter
  • linkedin
このページの先頭へ