UCLAが手話を翻訳して音声変換する手袋を発表！

カリフォルニア大学ロサンゼルス校（UCLA）の研究者は、スマホアプリを利用して、アメリカ手話をリアルタイムで英語音声に翻訳できるシステムを開発した。

これまでにも手話を翻訳するウェアラブルデバイスはあったが、かなりかさばって重いものだったとのこと。対してUCLAチームが開発した手袋型デバイスは、軽量で安価。壊れにくい伸縮性ポリマーでできている。

1秒あたり約1ワードの速度で手話を音声変換

手袋には、5本の指それぞれの動きに対応するセンサーを搭載し、導電性の糸で作られたセンサーは、文字や数字、単語、フレーズを表す手の動きを検出する。これが電気信号に変換され、1ドル硬貨サイズの基板に。基板が信号をスマホに送信し、機械学習学習アルゴリズムにより、1秒あたり約1ワードの速度で音声変換されるとのこと。

手話は表情でも意味を表現するため、追加で顔にもセンサーが取り付けられる。

660のジェスチャーの認識に成功

聴覚障碍者でアメリカ手話を使用している4人でテストしたところ、ジェスチャーの変換がうまくいったようだ。

15回の施行でシステムは、アルファベットと数字を含む660のジェスチャーを認識した。

センシング技術と機械学習を利用した手袋型デバイスは、手話と音声発話のコミュニケーションの壁を取り除いてくれそうだ。

参照元：Wearable-tech glove translates sign language into speech in real time/ UCLA Newsroom