InfoQ ホームページ MachineLearning に関するすべてのコンテンツ
-
Meta社、24000基以上のGPUから成るAIインフラ設計を発表
Meta社はこの程、2つの新しいAIコンピューティング・クラスターの設計を発表し、それぞれ24,576基のGPUを搭載している。これらのクラスタはMeta社のGrand Tetonハードウェア・プラットフォームに基づいており、1つのクラスタは現在Meta社の次世代モデルである、"Llama 3"のトレーニングに使用されている。
-
研究者らが、LLMジェイルブレイク攻撃の防御アルゴリズム"SafeDecoding"のオープンソース化を発表
ワシントン大学、ペンシルバニア州立大学、アレンAI研究所の研究者が、大規模言語モデル(LLM)をジェイルブレイク攻撃から守る技術である、"SafeDecoding"のオープンソース化を発表した。SafeDecodingは、大きな計算オーバーヘッドを発生させることなく、ベースラインのジェイルブレイク防御を上回る性能を発揮する。
-
OpenAI、"Transformer Debugger"ツールをリリース
OpenAIは、"Transformer Debugger"(TDB)と呼ばれる新しいツールを発表した。このツールはOpenAIのSuperalignmentチームによって開発され、自動解釈可能性技術とスパースオートエンコーダを組み合わせたものである。
-
RWKVプロジェクト、LLM "Eagle 7B"をオープンソース化
RWKVプロジェクトはこの程、75.2億パラメータの大規模言語モデル(LLM)である、Eagle 7Bをオープンソース化した。Eagle 7Bは、100以上の言語の1.1兆トークンのテキストで学習され、多言語ベンチマークにおいて他の同サイズのモデルを凌駕している。
-
"Google BigQuery"、ベクトル検索を導入
Googleはこの程、BigQueryがベクトル検索をサポートするようになったと発表した。この新機能は、セマンティック検索、類似性検出、大規模言語モデル(LLM)による検索拡張生成(RAG)といったデータやAIのユースケースで必要とされるベクトル類似性検索を可能にする。
-
Anthropicが生成AIモデル"Claude 3"を発表、"Opus"モデルとその人間に近い能力へ注目集まる
Anthropicは、GPT-4などの他の業界モデルを上回る、Claude 3ファミリーを発表した。Claude 3ファミリーは3つの異なるモデルで構成されている。能力の高い順に、"Opus"、"Sonnet"、"Haiku"の3つのモデルが存在し、それぞれ知能、スピード、コストの面で多様なユーザーニーズに応えるように設計されている。
-
Google、2億パラメータのAI予測モデル"TimesFM"を発表
GoogleResearchは、時系列予測を目的とした200MパラメータのTransformerベースの基礎モデルである、TimesFMを発表した。TimesFMは約100Bのデータポイントで学習され、教師あり学習モデルと同等以上のゼロショット予測性能を持つ。
-
Google、100万トークンのコンテキスト長を持つマルチモーダル"Gemini 1.5"を発表
Gemini 1.0 Ultraの発表から1週間後、Googleは次世代モデルであるGemini 1.5の追加詳細を発表した。新しいバージョンでは、コンテキストウィンドウが拡張され、"Mixture of Experts"(MoE)アーキテクチャが採用され、AIがより高速かつ効率的になることが期待されている。新モデルには、マルチモーダル機能の拡張も含まれている。
-
Google社がBardをGeminiに改名
Google社は、同社のチャットボットBardの名称をGeminiに変更すると発表した。同社はまた、Gemini言語モデルの最大バージョンであるGemini Advancedの発表と、Gemini言語モデルと対話するための2つの新しいモバイルアプリの発表も行った。
-
NVIDIA、ローカルで動作するAIチャットボット「Chat with RTX」を発表
NVIDIAはChat withRTXを発表し、パーソナライズされたチャットボット体験をユーザー自身が構築できるようになった。多くのクラウドベースのソリューションとは異なり、Chat with RTXは完全にローカルのWindows PCまたはワークステーション上で動作し、データのプライバシーとコントロールを高めている。
-
Stability AIのオープンソース動画生成モデル Stable Video Diffusion
Stability AI社は、動画生成AIモデルStable Video Diffusion(SVD)のコードとモデルウェイトを公開した。コンテキストとして入力画像が与えられると、このモデルは576x1024ピクセルの解像度で25のビデオフレームを生成できる。
-
Stability AI社が16億パラメータの言語モデル "Stable LM 2"をリリース
Stability AI社は、1.6Bパラメータの言語モデルStable LM 2用に、訓練済みのモデル重みを2セットリリースした。Stable LM 2は、7言語の2兆トークンから成るテキストデータで学習を行ったものであり、一般的なラップトップコンピュータで実行できる。
-
Mistral AIのオープンソースモデル"Mixtral 8x7B"、GPT-3.5を上回る
Mistral AIは先日、スパース混合エキスパート(SMoE)大規模言語モデル(LLM)であるMixtral 8x7Bをリリースした。このモデルは総パラメータ46.7Bを含むが、その3分の1のサイズのモデルと同じスピードとコストで推論を処理できる。いくつかのLLMベンチマークでは、Llama 2 70BとGPT-3.5の両方を上回った。
-
OpenAIのカスタムGPTが機密情報を漏洩する可能性
OpenAIが新しいGPTストアを展開し始めたことが報告された後、それらが構築されたデータの一部が容易に晒されてしまうことも発見された。複数のグループが、このシステムが機密情報を漏洩する可能性があることを指摘し始めた。
-
データ処理ワークロードと柔軟なストレージを実現するAmazon ECSとAmazon EBSの統合
AWSは最近、Amazon Elastic Container Service (AmazonECS) がAmazon Elastic Block Store (AmazonEBS) との統合をサポートすることを発表した。