InfoQ ホームページ MachineLearning に関するすべてのコンテンツ
-
EleutherAIが200億パラメータAI言語モデルのGPT-NeoX-20Bをオープンソース化
EleutherAIの研究者はGPT-NeoX-20Bをオープンソース化した。これは、GPT-3に似た200億パラメーターの自然言語処理（NLP）AIモデルである。このモデルは、公開されている825GBのテキストデータでトレーニングされており、同様のサイズのGPT-3モデルに匹敵するパフォーマンスを備えている。
-
自然言語クエリによる分析：Twitters社でのGCP BigQueryデータQnAの利用
Twitterエンジニアリングチームは、Qurious data Insightsプラットフォームのアーキテクチャの詳細と、リアルタイム分析の利点を共有した。このプラットフォームは、社内のビジネス顧客向けに設計されており、ユーザは自然言語クエリを使用してTwitterのBigQueryデータを分析し、ダッシュボードを作成できる。
-
Metaが会話型AIモデルプロジェクトCAIRaokeを発表
Meta AI Researchは最近、デジタルアシスタント向けのエンドツーエンドのディープラーニングモデルProject CAIRaokeを発表した。プロジェクトCAIRaokeは現在MetaのPortalデバイスで使われており、リマインダータスクについて評価すると、以前の会話モデルよりも優れている。
-
ワシントン大学がAIファインチューニングアルゴリズムのWISE-FTをオープンソース化
ワシントン大学（UW）、Google Brain、コロンビア大学の研究者チームは、ファインチューニングのための重み空間アンサンブル（WiSE-FT）をオープンソース化した。これは、分布シフト時のロバスト性を向上させるファインチューニングAIモデルのためのアルゴリズムである。いくつかのコンピュータービジョン（CV）ベンチマークでの実験では、WISE-FTの精度が最大6パーセントポイント向上したことが示されている。
-
アレン研究所が最新のEmbodied AIチャレンジを開始
アレン人工知能研究所（AI2）は、2022年版のAI2-THOR再配置チャレンジを発表した。このチャレンジでは、参加者に対して、仮想部屋でオブジェクトを移動させることができる自律エージェントを設計することが要求される。このチャレンジでは、新しいデータセットや、最新リリースのAI2-THORシミュレーションプラットフォームを使ったより高速なトレーニングなど、いくつかの改善がなされている。
-
ディープラーニングツールキットIntel OpenVINOではAPIが拡張され、パフォーマンスが向上
Intel OpenVINOの最新リリースでは、よりクリーンなAPIが提供される。自然言語処理のサポートが拡張されており、新しいAUTOプラグインのおかげでパフォーマンスと移植性が改善している。InfoQは、詳細についてAI Intel OpenVINOのシニアディレクターMatthew Formica氏と話をした。
-
大学の研究者が機械学習のコンピューティングトレンドを調査
アバディーン大学、MIT、そして他のいくつかの機関の研究者チームが、機械学習（ML）モデル向けの過去のコンピューティング需要のデータセットをリリースした。このデータセットには、123の重要なモデルのトレーニングに必要な計算が含まれている。分析によると、2010年以降、トレンドが大幅に上昇している。
-
AlphaCode：ディープラーニングによる競争力のあるコード合成
AlphaCodeの研究で、目標指向のコード合成に関して有望な結果が示されており、ディープsequence-to-sequenceモデルが使われている。それは、以前のネットワークを拡張しており、CodeContestsという名前の新しいデータセットをリリースしている。これは、将来の研究ベンチマークに貢献するためである。
-
テルアビブ大学、長文NLPベンチマークSCROLLSをリリース
テルアビブ大学(Tel-Aviv University)、Meta AI、IBM Research、Allen Institute for AIの研究者らが、さまざまな分野から収集した長いテキスト列を処理対象とする自然言語処理(NLP)ベンチマーク用のタスクセットを、Standardized CompaRison Over Long Language Sequences(SCROLLS)としてリリースした。ベースラインのNLPモデルを対象とした実験結果からは、現行のモデルに改善の余地が多くあることが示唆されている。
-
WaymoがBlock-NeRF 3Dビュー合成デ��ープラーニングモデルをリリース
Waymoは、自動運転車によって収集された画像から再構築された大規模な3Dワールドビュー合成のためのBlock-NeRFと呼ばれる画期的なディープラーニングモデルをリリースした。NeRFには、ニューラルネットワークで表面と体積の表現をエンコードする機能がある。
-
MetaがマルチモーダルAIアルゴリズムのdata2vecをオープンソース化
Meta AIは最近、data2vecをオープンソース化した。画像、テキスト、音声音声データに関する自己監視型ディープラーニングのための統合フレームワークだ。一般的なベンチマークで評価すると、data2vecを使ってトレーニングされたモデルは、モダリティ固有の目的でトレーニングされた最先端のモデルと同等かそれ以上のパフォーマンスを達成している。
-
GitHubが機械学習を使って脆弱性コードスキャンを拡張した方法
GitHubは、機械学習技術をルールベースのセキュリティコードスキャン機能に適用し、既存のルールから新しいルールを自動的に推測することで、あまり一般的ではない脆弱性パターンにその機能を拡張できることを期待している。
-
PipelineDPによりGoogleの差分プライバシーライブラリをPythonで提供
GoogleとOpenMinedは新たなオープンソースライブラリのPipelineDPをリリースした。これにより、研究者や開発者がバッチ処理システムを使って大規模なデータセットに差分プライベート集計を適用できるようになる。
-
DeepMindが量子化学AIモデルのDM21をオープンソース化
Googleの子会社であるDeepMindの研究者が、DM21をオープンソース化した。これは、電子密度を化学相互作用エネルギーにマッピングするためのニューラルネットワークモデルである。これは量子力学的シミュレーションの重要なコンポーネントである。DM21は、いくつかのベンチマークで従来のモデルよりも優れている。PySCFシミュレーションフレームワークの拡張として利用できる。
-
アリババがAutoMLアルゴリズムのKNASをオープンソース化
アリババグループと北京大学の研究者はカーネルニューラルアーキテクチャ検索（KNAS）をオープンソース化した。これは、トレーニングなしで提案されたアーキテクチャを評価できる効率的な自動機械学習（AutoML）アルゴリズムだ。KNASは、モデル品質のプロキシとして勾配カーネルを使用し、ベースラインとなる方法と比べて桁違いに少ない計算能力で済む。