InfoQ ホームページ AIと機械学習、データエンジニアリング に関するすべてのコンテンツ
-
99.9％少ないパラメータでGPT-3パフォーマンスを上回るAIのトレーニング方法
LMU Munichの科学者チームは、自然言語処理 (NLP) モデルの深層学習トレーニング手法であるPattern-Exploiting Training (PET)を開発した。チームはPETを使用して、SuperGLUEベンチマークで1750億パラメータのGPT-3の3パーセント以上となる2億2300万パラメータを使用してTransformerNLPモデルをトレーニングした。
-
ExBERT、NLPモデルで学習された表現を探索するためのツール
MIT-IBM AI Labsと Harvard NLP Groupは、exBERTと呼ばれるTransformersモデルで学習した表現を調査するためのインタラクティブな視覚化ツールのライブデモをリリースした。事前発行があり、ソースコードも公開される。
-
CNCFがKubernetesエッジコンピューティングプラットフォームKubeEdgeをインキュベーションプロジェクトとして承認
CNCF Technical Steering Committee (TOC) は、インキュベーションプロジェクトとしてKubeEdgeを承認したことを発表した。KubeEdgeは、「クラウドとエッジデバイス間のネットワーク、アプリケーションデプロイメント、メタデータ同期のインフラストラクチャサポート」を提供することを目的としたプラットフォームであり、Kubernetesを基盤として使用する。
-
GoogleがTensorFlowモデル最適化のためのQuantization Aware Trainingをリリース
Googleは、TensorFlow Model Optimization Toolkit用のQuantization Aware Training（QAT）APIのリリースを発表した。QATは、ニューラルネットワークトレーニングプロセス中に低精度のハードウェアをシミュレートし、全体的なネットワーク損失メトリックに量子化誤差を追加する。これにより、トレーニングプロセスがトレーニング後の量子化の影響を最小限に抑えられる。
-
Facebookがタンパク質配列を処理するAIモデルをリリース
Facebook AI Researchの科学者チームが、DNA配列のタンパク質データを処理するディープラーニングモデルをリリースした。モデルには約7億のパラメータが含まれており、2億5,000万のタンパク質配列によるトレーニングで生物学的特性を学習した結果として、ゲノミクス予測タスクにおける現在の最先端技術の改善に使用することが可能である。
-
TensorFlow 2.3ではパイプラインのボトルネックを削減し、前処理を改善
TensorFlowプロジェクトは、バージョン2.3.0のリリースを発表した。これは、入力パイプラインのボトルネックの低減、前処理用のKerasレイヤー、メモリプロファイリングのための新しいメカニズムを備えている。
-
スタンフォードNLPグループがStanzaをリリース：Python NLPツールキット
スタンフォードNLPグループは最近、新しいPython自然言語処理ツールキットであるStanzaをリリースした。Stanzaは、テキスト分析（66の人間の言語をサポート）用の言語に依存しない完全なニューラルパイプラインと、StanfordのCoreNLP JavaソフトウェアへのPythonインターフェイスの両方を備えている。
-
AmazonがECSでEC2 Inf1インスタンスのサポートを発表
先頃のブログ投稿で、Amazonは、顧客がAmazon Elastic Container Service (ECS)でAmazon EC2 Inf1インスタンスを使用できるようになったと発表した。同社は、インスタンスのパフォーマンスが高く、予測可能なコストが低いことを約束している。
-
MozillaがHubs Cloudを発表
MozillaのMixed Realityグループは、仮想現実の集まりのためのソーシャルスペースであるMozilla Hubsのクラウドバージョンを立ち上げた。組織は、Mozilla Hubsの独自のインスタンスをデプロイおよびカスタマイズできるようになった。Mozilla Hubsは、AWS Marketplaceで入手でき、必要なすべてのAWSリソースを管理する。Mozilla Hubsを使用すると、人々は3D環境で会うことができ、コンピュータまたは仮想現実デバイスを使用して参加できる。
-
MicrosoftとGoogleが言語横断のAIタスクに対する新しいベンチマークをリリース
Microsoft ResearchとGoogle AIの研究チームはAIシステムの言語間自然言語理解（NLU）タスク向けの新しいベンチマークを発表した。そのタスクには、固有表現抽出や質問応答などがある。GoogleのXTREMEは40の言語をカバーし、9つのタスクを含む。一方、MicrosoftのXGLUEは27の言語と11のタスクをカバーする。
-
GoogleがTensorFlow開発者認定を導入
Googleは、ディープラーニングフレームワークであるTensorFlowの認定プログラムを開始した。認定試験はPyCharm IDEプラグインを使用して管理され、合格した受験者はGoogleのワールドワイドの認定ディレクトリにリスト化される。
-
TensorFlow Quantumが量子コンピュータと機械学習をひとつにする
TensorFlow Quantum(TFQ)は、Google量子コンピューティングフレームワークCirqとTensorFlowを組み合わせて、量子機械学習(ML)モデルの作成を可能にする。
-
Microsoftが偽情報に対抗する新テクノロジを発表
先日のブログ記事でMicrosoftは、偽情報(disinformation)に対抗する2つの新しいテクノロジを発表した。Video Authenticatorツールと、操作されたコンテンツを検出し、閲覧中のメディアが本物であることを保証するテクノロジである。
-
Salesforceがデータベース用自然言語インターフェースPhotonをリリース
Salesforce Researchの科学者チームと香港中文大学(Chinese University of Hong Kong)は、データベース用自然言語インターフェース(NLIDB)Photonをリリースした。パーザ構築にディープラーニングを使用することにより、一般的なベンチマークで63パーセントという精度と、あいまいな質問の明確化をユーザに求めるエラー検出モジュールを実現している。
-
Googleが表形式データを使用して自然言語の質問に答えるためのAIをオープンソース化
GoogleのTable Parser（TAPAS）をオープンソース化した。それは、表形式のデータから自然言語の質問に答えることができるディープラーニングシステムである。TAPASはWikipediaから抽出された620万のテーブルでトレーニングされ、いくつかのベンチマークで最先端のパフォーマンスに匹敵する、あるいは、それらのパフォーマンスを超えている。