仮想Webカメラで使われている機械学習と代表的ソフトウェア

リモートワークが普及し、その中でWebカメラの需要が増えています。2月、3月の頃はWebカメラが品切れになっており、スマートフォンをWebカメラ化したり、一眼レフを使えるようにする方法も出てきました。

そんな中、Webカメラの映像を加工して利用するソフトウェアが増えています。そうした技術では顔やオブジェクト認識をはじめ、機械学習も利用されています。

顔へのエフェクト

Webカメラで映し出される機会の多い、顔に対するエフェクトは最もニーズがある機能です。女性であれば自動的に化粧を施したり、顔色を調整する機能もあります。単純にOpenCVを使って顔を検出するレベルではなく、より自然な加工を行うための顔認識と加工は機械学習をベースにして行われています。

https://www.youtube.com/watch?v=Ae3nuKiTAsk

バーチャル背景

従来はグリーンバックと呼ばれるような単色のスクリーンが必要でしたが、今は後ろに壁や本棚などがあっても綺麗に人物だけを認識して、別な背景を当てられるようになっています。これも機械学習を用いて行われており、リアルタイムに計算処理が行われています。そのため若干負荷が大きく、処理速度の遅いマシンでは対応していないこともあります。

オブジェクト追加

顔や体の一部を認識して、絵文字を出したり、動物の耳などを表示するといったオブジェクト追加もよく行われています。さらに口を開けた、目を見開いた状態を認識してアニメーションを表示したりできます。これらもまた、機械学習を通じて行われています。

ノイズ抑制

こちらは映像ではなく、音声に関わる処理になります。キータイピングの音を抑制したり、会議中に突然入ってくる環境音を機械学習によって抑制します。子供の声が入ってしまった、遠くの犬の鳴き声が入ってしまったといった失敗を未然に防げるようになるでしょう。

ビデオ会議ツール「Google Meet」にAIを使ったノイズキャンセル機能が実装される、その仕組みとは？|au Webポータル経済・ITニュース

発言者の自動フォーカス

会議室などに設置するカメラの場合、発言者に自動フォーカスする機能をAIで提供するものがあります。

Meeting Owl & Meeting Owl Pro | The best 360° smart conference camera experience

一つのデバイスに複数のカメラを搭載しており、参加者全体の映像と、発言者にフォーカスした映像を配信できます。複数拠点間でのミーティングなどで使えるでしょう。

https://www.youtube.com/watch?v=N_duZc5DZ2c

ソフトウェア

ここではよく知られている仮想Webカメラソフトウェアを紹介します。仮想背景、映像加工、オブジェクト追加といった機能を提供しています。Zoomなどのミーティングツールもバージョンアップされており、一部のソフトウェアは使えない場合もありますので注意してください。

まとめ

Webカメラはこの数ヶ月で一気に需要が増えています。そしてAI/機械学習は映像分析、加工と相性がよく、様々な試みが行われています。皆さんもこうしたソフトウェアを使うのはもちろん、新しい価値創出にチャレンジしてみるのはいかがでしょうか。

]]>