InfoQ ホームページ Deep+Learning に関するすべてのコンテンツ
-
Google Techに関するプロジェクトのキュレーションコレクションであるGoogleのDev Libraryとは
Googleは、Googleテクノロジーに関連するオープンソースプロジェクトから厳選したコレクションを作成することを目的とした新しい構想を発表した。GoogleのDev Libraryには、コードリポジトリだけでなく、さまざまなインターネットソースから収集された記事、ツール、チュートリアルも含まれる。
-
MItの研究チームがAMM(Approximate Matrix Multiplication)アルゴリズムのMADDNESSをオープンソースとして公開
MITのComputer Science & Artificial Intelligence Lab(CSAIL)に所属する研究者たちが、AMM(Approximate Matrix Multiplication)を用いてマシンラーニングをスピードアップするアルゴリズムのMultiply-ADDitioN-lESS(MADDNESS)をオープンソースとして公開した。MADDNESSは積和演算を必要としないため、他の近似法よりも10倍、正確な乗算(exact multiplication)を実行する場合よりも100倍、高速に動作する。
-
学習済みモデルの一般への影響を研究するスタンフォード研究センター
スタンフォード大学は先頃、急増するマシンラーニングの研究機関やスタートアップを対象に、大規模な学習済みディープネットワーク(BERT、GPT-3、CLIPなど)を専門的に研究する新たな研究センターである、Center for Research on Foundation Models (CRFM)を発表した。
-
ジョージア工科大学の研究者がワイヤレスブレインマシンインターフェースを開発
ジョージア工科大学の人間中心インターフェースおよびエンジニアリングセンターの研究者がSoft Scalp Electronics（SSE）を開発した。これは人間の脳信号を読み取るウェアラブルワイヤレス脳波記録（EEG）デバイスである。このシステムは、ニューラルネットワークを使ってEEGデータを処理することにより、デバイスを装着したユーザがアクティビティを想像するだけでビデオゲームを制御できるようになる。
-
Facebookがコンピュータビジョンモデル”Multiscale Vision Transformers”をオープンソースとして公開
Facebook AI Reserch(FAIR)は先頃、Transformerアーキテクチャに基づくコンピュータビジョン用ディープラーニングモデルであるMultiscale Vision Transformer(MViT)を、オープンソースとして公開した。MViTは、内部にいくつかの解像度低減(resolution-reduction)ステージを備えることにより、他のTransformerビジョンモデルをパフォーマンスで凌駕すると同時に、必要な計算能力の低減を実現しており、いくつかのベンチマークにおいては精度の最高値を更新している。
-
モバイル、科学計算、分散トレーニングを強化したPyTorch 1.9がリリース
Facebookがオープンソースで提供するディープラーニングフレームワークのPyTorchが、バージョン1.9のリリースを発表した。科学計算やモバイルのサポート、分散トレーニングなどが強化されている。全体として、新リリースには、1.8リリース以降の3,400以上のコミットが含まれている。
-
OpenAIが120億パラメータのコード生成AI Codexを発表
OpenAIは最近、Codexを発表した。自然言語の記述からプログラムコードを生成するAIモデルだ。CodexはGPT-3言語モデルをベースとしている。GPT-3の0％と比較して、OpenAIの公開されているHumanEvalテストデータセットの問題の70％以上を解決できる。
-
DeepMindがデータに依存しないディープラーニングモデルPerceiver IOをオープンソース化
DeepMindはPerceiver IOをオープンソース化した。さまざまな種類の入力と出力を処理できる汎用の深層学習モデルアーキテクチャだ。Perceiver IOは、トランスフォーマーの完全互換として機能する。ベースラインモデルと同等あるいはそれ以上のパフォーマンスを実現しつつも、ドメイン固有の前提はない。
-
MITが深層学習推論のためのエネルギー効率の高い光加速器を紹介
MITの量子フォトニクス研究所の研究者は、デジタル光ニューラルネットワーク（DONN）を開発した。光を使ってアクティブ化データと重みデータを送信する深層学習推論アクセラレータのプロトタイプだ。数パーセントの精度を犠牲にすることで、システムは従来の電子機器に比べて最大1000倍の伝送エネルギーのメリットを得られる。
-
BaiduのERNIE 3.0 AIモデルが、言語理解ベンチマークで人間のパフォーマンスを超えた
Baiduの研究チームは、Enhanced Language RepresentatioN with Informative Entities（ERNIE）の3.0バージョンに関する論文を発表した。これは自然言語処理（NLP）の深層学習モデルだ。モデルには100億のパラメーターが含まれており、SuperGLUEベンチマークで新しい最先端のスコアを達成し、人間のベースラインスコアを上回った。
-
Googleが8億パラメータ視覚・言語AIモデルのALIGNを発表
Google Researchは、大規模な画像とノイズの多いテキストの埋め込み（ALIGN）の開発を発表した。これは、800Mパラメータで事前トレーニング済みディープラーニングモデルで、18億の画像・テキストのペアのノイズの多いデータセットでトレーニングされている。このモデルは、いくつかのダウンストリームタスクで使用でき、画像・テキスト検索のいくつかのベンチマークで最先端の精度を実現している。
-
EleutherAIが60億パラメータGPT-3のクローンであるGPT-Jをオープンソース化
EleutherAIの研究者チームは、GPT-Jをオープンソース化した。これはGPT-3に基づく60億パラメーターの自然言語処理（NLP）AIモデルである。このモデルは800GBのオープンソーステキストデータセットでトレーニングされており、同様のサイズのGPT-3モデルに匹敵するパフォーマンスを備えている。
-
GoogleがTensorFlow LiteをAndroidに統合、さらにAutomatic Acceleratorを追��
Googleは、Android ML Platformという名称で、新たなモバイルMLスタックを発表した。TensorFlow Liteを中核におくことにより、デバイス上でマシンラーニングを使用する際に生じる、さまざまな問題の解決を目指す。
-
Googleがトークンフリー言語モデルByT5をオープンソース化
Google Researchは、ByT5をオープンソース化している。これは抽象的なトークンの代わりに未加工のバイトで動作する自然言語処理（NLP）AIモデルである。ベースラインモデルと比較して、ByT5はいくつかのベンチマークタスクでより正確であり、スペルミスやノイズに対してより堅牢である。
-
InterCon 2021のパネルディスカッション：AIはエンドユーザにとって本当に有益か
ラスベガスで開催された直近のInterConでは、「AIはエンドユーザにとって本当に有益か」というタイトルのパネルディスカッションが特集された。いくつかの重要なポイントは、AIが生産性の向上と問題解決の支援による利益をもたらすこと、AIのガバナンスと倫理の必要性、およびトレーニングデータセットのバイアスに対する懸念があることであった。