BT

最新技術を追い求めるデベロッパのための情報コミュニティ

寄稿

Topics

地域を選ぶ

InfoQ ホームページ ニュース ML Kit Pose Detectionにより、iOSとAndroidで体の動きの追跡が可能

ML Kit Pose Detectionにより、iOSとAndroidで体の動きの追跡が可能

原文(投稿日:2020/09/11)へのリンク

Pose Detectionは、当初はML Kitアーリーアクセスプログラムで利用可能であったが正式にML Kitの一部になった。ライブラリは、顔のランドマーク、手、足などの人体を追跡できる。

ML Kit Pose Detection APIは、コンピュータービジョンと機械学習を組み合わせて33の2次元のボディランドマークを推定するGoogleのBlazePoseパイプラインに基づいている。これは、Googleによると、キーポイント検出にCOCOデータセットを使った身体ポーズに対して、現在の標準を大幅に改善したことを示している。

COCOキーポイントは、足首と手首のみにローカライズされ、フィットネスやダンスなどの実用的なアプリケーションに不可欠な、手と足に対する拡張と方向の情報が欠如しています。手、顔、足などのドメイン固有のポーズ推定モデルを使った今後のアプリケーションに対しては、より多くのキーポイントを含めることが重要です。

BlazePoseは、すでに利用可能なBlazeFaceBlazePalmのトポロジーの上に構築することにより、この結果を実現する。これらのトポロジーは、顔と手のモデルを作成するために使用されている。BlazePoseは、CPU推論のみを使用すると、携帯電話でリアルタイムのパフォーマンスを実現する。GPU推論を使用すると、顔や手の追跡のために後続のMLモデルを実行することもできる。

BlazePoseには、高速モデル精密モデルという2つの異なるMLモデルがある。どちらのモデルも、フレーム内の1人の人物の存在のみをサポートし、14フィート(4メートル)未満の距離で、頭が見えるときに正しく動作する。

「高速」モードを有効にすると、Pixel 4などの最新のAndroidデバイスではおおよそ30 FPS以上のフレームレートが期待できます。また、iPhone Xなどの最新のiOSデバイスでは45 FPSのフレームレートが期待できます。「精密」モードを有効にすると、両方のタイプのデバイスでより安定したx、y座標を期待できるが、全体的にフレームレートは遅くなります。

Googleは、ML Kit Pose Detectionの適用先として、フィットネスやヨガのトラッカーなど、家でアクティブに過ごすために役立つアプリをターゲットにしている。いずれにせよ、アプリケーションはそれだけでなく、拡張現実、手話認識、全身ジェスチャーコントロールなどもある。

興味のある開発者は、AndroidiOS向けのGoogleサンプルアプリにアクセスして、この新しいテクノロジーを試してみることができる。

この記事に星をつける

おすすめ度
スタイル

BT