Google、動く被写体がより自然に撮れるAI技術を開発!「マネキンチャレンジ」から深度計測モデルを作成

そんな課題を解決しようというのが、「マネキンチャレンジ」のYouTube動画を活用したGoogleのアプローチ。マネキンチャレンジとは、マネキンを模して静止している人たちを撮影したものだが、Googleは、これをモデル化して動いている被写体の深度を計測しやすくしたという。
・カメラと被写体が動いていても深度マップが生成できる

コンピュータビジョンでは、撮影したシーン全体の形状を予測して、深度マップを再構築するわけだが、マルチカメラを備えた機種以外では、動いているオブジェクトへの深度割り当てを省くか、おおよその深度値を割り当てる方法が取られるようだ。
これに対してマネキンチャレンジを用いたアプローチは、静止している人から動いている人の深度をもとめるもので、カメラと被写体が自由に動いていても、深度マップを生成することができる。
・ピンぼけやステレオムービーのようなエフェクトに活用

マネキンチャレンジなら広範なパターンがあるし、三角測量により事前に精度の高い深度マップが構築できるというわけだ。
1フレームごとに深度を計測して、前後複数のフレームで取得した深度と運動視差を用いることでさらに精度を高める。
このモデルでは人間に焦点を合わせて深度を計測。まずは人間の占めるエリアをマスクして深度を割り当て、それ以外のエリアの深度も調整する。
深度マップの精度が高まることで、例えば画像/動画に被写界深度をずらすようなピンぼけがつけられたり、ステレオムービーのようなエフェクトがかけられたりといったことができそうだ。
参照元:Moving Camera, Moving People: A Deep Learning Approach to Depth Prediction/Google AI Blog

ウェブサイト: https://techable.jp/
- ガジェット通信編集部への情報提供はこちら
- 記事内の筆者見解は明示のない限りガジェット通信を代表するものではありません。