体験を伝える―『ガジェット通信』の考え方

面白いものを探しにいこう 本物を体験し体感しよう 会いたい人に会いに行こう 見たことのないものを見に行こう そしてそれをやわらかくみんなに伝えよう [→ガジェ通についてもっと詳しく] [→ガジェット通信フロアについて]

ARを利用して現場の映像にリアルタイムで指示を送れる遠隔作業支援システム「VistaFinder Mx」

現場のライブ映像に遠隔地からの手書き指示を表示

広帯域ネットワークやスマートフォンの普及により、離れた場所でも映像を簡単に共有できるようになった。ビジネスにおいても、リアルタイム映像の共有などのニーズが高まっている。

KDDI研究所では、15年近く前に、独自の映像伝送技術を用いて、ネットワークの状態を問わず安定して高画質な映像伝送が可能な可搬型映像伝送システム「VistaFinder」を開発しており、放送局や救急用途で利用されてきている。さらに、スマートフォンやタブレットでも利用可能で、メガネ型USBカメラをつないでハンズフリーでも利用できる映像伝送ソリューション「VistaFinder Mx」を2011年に世界で初めて販売開始している。「携帯性」を追求したシステムで、設備保守などへの導入実績がある。

さらに今回、「VistaFinder Mx」に、現場の映像にコメントなどの仮想的な付加情報を貼り付けて提示する「利便性」を追加した。遠隔地の現場からタブレット等で撮影されて送られた作業対象設備等の映像に手書き等で指示を書き入れると、現場のタブレットの映像にリアルタイムで重ねて表示される。作業者がタブレットを動かしても、指示はカメラの動きに追従してくれる。これにより、現場映像と音声だけの情報共有では不十分だった作業支援を目的としたリアルタイムのコミュニケーションにおいて、より直感的で効果的な指示が可能になり、聞き間違いや思い違いなどの作業ミスも減らすことができると期待される。

まず、デモンストレーションを拝見した。現場作業者が作業対象の通信機器にタブレット端末をかざすと、画面に現在の映像が表示される。端末に映っている映像は、同時に指示者の受信端末にも送られて映し出される。

そこで指示者は、「上から3段目の、一番右の段の左から5番目のコネクタに挿してください」という指示を音声で伝える代わりに、端末の画面を指でなぞって矢印や文字を”書く”。すると即座に赤い矢印と文字が、現場作業者の端末の映像に重ねて映し出される。音声通話もできるので、指示者は、「指示したコネクタに挿してください」と言えばいいだけだ。端末を機器に近づけたり遠ざけたり、斜めにしたりしても、赤い矢印と文字は、同じコネクタを指示し続けている。端末を遠ざけると作業対象の映像は小さくなるが、それと同時に赤い矢印や文字も合わせて小さくなる。手ブレしたり、回転したりしても、問題なくAR画像が重なるのには目を見張った。

KDDIのネットワーク保守支援がそもそもの開発目的

「そもそもは、社内のネットワーク設備の保守に使いたいというのが開発の動機でした」

スマートネットワーク管理グループの荒井大輔・研究主査は、VistaFinderとARをつなげたきっかけをそう振り返る。

「私には、KDDI研究所での研究と、KDDIでのネットワーク運用を兼務していた時期がありました。夜間に動かすシステムを開発し、実際に運用も行なっていたのです。夜中でもトラブルがあれば電話がかかってきます。システムの開発はしましたが、ずっと研究所にいて運用の現場に出たことはなかったので、現地の装置の様子が分からないため、正確に理解をするのが難しい。何とかならないかと思い、KDDI研究所でVistaFinderとARを研究している人たちと仲が良かったので、『この人たちならできる』と思い、開発を提案しました。KDDIは全国に携帯電話の設備がありますが、全ての場所に作業者が常時いるわけにはいきません。故障の際には、詳しい人が到着する前に、現地にいる人で多少なりとも作業を進めておくことができれば、お客さまにご迷惑をおかけする時間を短くできるのでは、と思ったのです」

VistaFinder Mxの技術的特長は、大きく3つ。

まず、AR表示に「マーカー」が不要なこと。ARの表示方法には、表示場所を特定するARマーカーなどの「目印」を利用することが多いが、KDDI研究所独自のマーカーレスAR技術により、現場の設備にマーカーを貼り付けたりする必要がない。事前準備なく、どこでも行ったその場で、AR表示を利用できる。

2つ目は、表示場所の検出と追従方法。AR表示を行うには、表示を書き入れた映像と現場で撮影・表示されている映像を比較して、指示を書き入れた場所を探し出す。この部分では、特徴のある部分を探し出して、高い精度で、指示した場所にAR表示を重ね合わせて表示している。現場で端末を動かしても特徴のある部分を追跡し続けることで、”同じ場所”に指示を表示し続けられるわけだ。端末の捉えた映像に応じて指示の大きさや形も変わるのは、たとえば四角形は斜めから見ると台形に見えたり、遠くから見ると小さく見えるといった認識対象の見え方の変化を利用して、AR画像を同様にゆがませる、という仕組み。これに動きの情報も利用して、追従にかかる処理を軽くしているのだという。

1 2次のページ
TIME & SPACEの記事一覧をみる
  • 誤字を発見した方はこちらからご連絡ください。
  • ガジェット通信編集部への情報提供はこちらから
  • 記事内の筆者見解は明示のない限りガジェット通信を代表するものではありません。