表情を認識ヘッドホン「C-Face "、ウェブカメラなしでビデオ会議の顔を作成

SciFiLab

コーネル大学の研究者が着用者の表情を認識して、コンピュータの画面に表現する機能を備えたヘッドフォン「C-Face “を開発しました。このヘッドフォンを使用すると、自分の顔の表情を予め選択しておいた他の人の顔に置き換えるリアルタイムで表示することができます。この技術を使用すると、Webカメラを使用せずにビデオ通話をすることができます。また、VR空間を使用SNSなどはアバターの表情をユーザー表情で置き換えることで、より現実に近いコミュニケーションを可能にします。

コーネル大学のCheng Zhang氏は、この装置が、既存のヘッドセットの顔認識装置に比べて簡単で、目立たず、より高い表現を追跡能力を持っていると言います。たとえば、新型コロナ災害でマスクを着用しているような場合は、カメラの画像式の顔認識は表情を伝えようもありません。一方、C-Faceは、ヘッドフォンの左右ユニットに装着されたカメラで、着用者の頬の筋肉の動きを検出し、顔を自動的に生成します。

この技術は、深い学習と回線型ニューラルネットワークを利用して、カメラ映像から収集した情報をすべて表情を作り出すの顔に42ポイントの動きに変換します。実験で得られた結果は、着用者の表情を85％以上の精度で再現したもの。

問題は、カメラを駆動するバッテリーの容量が限られたことで、研究者は、より効率的なバッテリーを適用することを考えています。

ZoomとFaceTimeなどのビデオ通話時のスピーカーから相手の声を出せば、それをマイクが拾ってエコーが発生することがありますので、スピーカーよりイヤフォンまたはヘッドフォンを使用することがより快適に会話することができます。また、自分の顔と表情をカメラを使用せずにコンピュータ生成して相手と会話することができていれば、例えば、女性であれば、メイクの手間を減らすことができ、室内の様子が相手に通知せずに終了したと言う利点もあります。ビデオ通話/会議が今後も人気を定着させると、C-Faceのような技術も普及するかもしれません。

ところが気になることはほとんど表情を変えずに言う人の場合は、C-Face生成する顔はどうなるのか。頬の筋肉の動きを認識しない場合、コンピュータも顔の表情を作り出すことができないでしょう…しかし、よく考えてみると、それは最初からほぼ表情を変えることができない人なので、生成された顔も再現も面で問題があるかもしれません。

出典：SciFiLab（コーネル大学）
通じる：コーネルクロニクル