BT

最新技術を追い求めるデベロッパのための情報コミュニティ

寄稿

Topics

地域を選ぶ

InfoQ ホームページ ニュース ディープラーニングツールキットIntel OpenVINOではAPIが拡張され、パフォーマンスが向上

ディープラーニングツールキットIntel OpenVINOではAPIが拡張され、パフォーマンスが向上

ブックマーク

原文(投稿日:2022/03/09)へのリンク

Intel OpenVINOの最新リリースでは、よりクリーンなAPIが提供される。自然言語処理のサポートが拡張されており、新しいAUTOプラグインのおかげでパフォーマンスと移植性が改善している。InfoQは、詳細についてAI Intel OpenVINOのシニアディレクターMatthew Formica氏と話をした。

InfoQとの会話で、AI Intel OpenVINOのシニアディレクターMatthew Formica氏は、新しいOpenVINO APIがTensorFlowの慣習にうまく準拠することで、開発者がコードを簡単に採用および維持できるようにすることを目的としていると説明した。さらに、いくつかのフレームワークが更新された。

OpenVINOトレーニング拡張機能とニューラルネットワーク圧縮フレームワーク(NNCF)の更新により、モデルトレーニングテンプレートの選択が可能になりました。これによって、アクション認識、画像分類、音声認識、質問応答と翻訳などの精度を維持しながら、パフォーマンスがさらに向上します。

前述のように、OpenVINOでは深層学習テクノロジーを通じて、NLP機能も拡張されている。これは、「動的形状」と呼ばれ、可変長の入力データを処理するために使用される。Formicaによると、動的な形状は、テキストおよびオーディオデータを処理するNLPモデルにとって特に重要である。

開発者が必要とするパフォーマンスを確実に得られるようにするために、OpenVINOは新たにコード「ヒント」メカニズムを導入した。これによって、1行のコードで、最速の即時推論応答(遅延)か、あるいは最高の合計バッチ処理(スループット)が得られるようになる。OpenVINOでは、提供されたヒントに基づいて、実行時にモデルが自動的に最適化される。

Formicaによると、開発者にとって特にエキサイティングなもう1つの新機能は新AUTOプラグインである。これによって、自動検出されたすべてのコンピューティングに対して推論を動的かつ透過的に割り当てることができるようになる。

たとえば、OpenVINOでは、すべてのアクセラレータ、使用可能なコンピューティング、システム内のメモリ量が、ハードウェアシステム全体で自動的に調査されます。自動的に負荷分散され、推論AIジョブがすべてのコンピューティングに動的に分散されるため、最高のパフォーマンスで動作します。開発者にとっての大きなメリットは、製品のコピーを1つ出荷すればよく、OpenVINOが使用されるハードウェアに合わせて最適化してくれることをわかっています。

これにより開発者の活動が大幅にシンプルになる。「各ハードウェアベンダー固有のHW構成/ボックス設定を取り扱い、最良の推論結果を得るためにアプリケーション内のコードブランチ」を個々に管理する必要がなくなるためである。この注目すべき例の1つは、GPUの「ロード/コンパイル時間」の遅延である。これは、GPUが推論を開始するまでにかかる時間であり、そのアーキテクチャと密接に関連している。AUTOのおかげで、OpenVINOではGPUの準備中にCPUで推論を開始でき、パフォーマンスを向上させるためにGPUに透過的に「ホットスワップ」することができる。

Intel OpenVINO 2022.1 Goldバージョンは、第1四半期の後半にwww.openvino.aiから入手できるようになる。ただし、興味のある開発者は(現時点では)最新のプレビュービルドをダウンロードして試してみることができる。

作者について

この記事に星をつける

おすすめ度
スタイル

特集コンテンツ一覧

BT