InfoQ ホームページ AIと機械学習、データエンジニアリング に関するすべてのコンテンツ
-
OpenAI、GPT-4を用いてGPT-2でニューロンの行動を解釈
OpenAIの研究グループが最近発表した論文では、現在のディープニューラルネットワーク（DNN）の限界の1つである「解釈可能性の欠如」を解決するための新しいアプローチの概要が示されている。研究者たちはGPT-4を用いることで、DNNの解釈可能性を自動化するための第一歩として、どのような事象がニューロンの活性化を引き起こすかを解釈する技術を構築することを目的としている。
-
Metaが手がけるオープンソースなComputer Vision基盤モデルDINOv2
Meta AI ResearchはComputer Vision（CV）タスクの基盤モデルであるDINOv2をオープンソース化した。DINOv2は142Mの画像からなるキュレーションデータセットで事前学習されており、画像分類(Image Classification)、ビデオアクション認識(Video Action Recognition)、セマンティックセグメンテーション(Semantic Segmentation)、深度推定(Depth Estimation)などのタスクのバックボーンとして使用できる。
-
ChatGPTは何にでも適用可能か？アラン・チューリング研究所のフェローがDevoxx UK基調講演でチェックリストを発表
アラン・チューリング研究所の倫理フェローであるMhairi Aitken氏は、Devoxx UKの基調講演で、AIが人の言語の複雑さを処理するときの限界についてゲール語由来の自分の名前をAIが誤って発音したことを例にあげて語った。彼女はまずアラン・チューリング研究所で、社会における大規模言語モデルの社会的・倫理的リスクの予測に焦点を当てて研究していることを説明した。また、それらのリスクをどのように最小化できるか、そして責任を持って設計・開発された場合にデータやAIが社会全体に提供できる価値を理解しようと努めている。
-
半構造化データ変換のためのLLMの効率的な適用について
半構造化(Semi-Structured)データから構造化データを生成するための手段としてLLMは有効だが相応のコストを要する。スタンフォード大学とコーネル大学の研究チームは推論品質を向上させながら、推論コストを110分の1に削減する技術を発見したとしている。
-
Twitterがレコメンデーションアルゴリズムをオープンソース化
Twitterは最近、ユーザーのTwitterタイムラインにツイートをレコメンドするシステムのいくつかのコンポーネントをオープンソース化した。このリリースには、アルゴリズムを実行するいくつかのサービスやジョブのコード、ツイートを埋め込んでランキングする機械学習モデルをトレーニングするコードが含まれている。
-
Google、Android開発向けコーディングボット「Studio Bot」をプレビュー公開
Google I/O 2023で、GoogleはAndroid Studio最新版に統合されたAI搭載のコーディングボットStudio Bot（コードネーム：Hedgehog）をプレビュー公開した。Studio Botは開発者がコードとユニットテストを書き、エラー修正をするのを支援することを目的としている。
-
マイクロソフト、マルチモーダルチャットボット「Visual ChatGPT」をオープンソース化
Microsoft Researchは人間が入力したテキストのプロンプトに反応して画像を生成・操作できるチャットボットシステムVisual ChatGPTをオープンソース化した。このシステムはOpenAIのChatGPTと22種類の視覚基盤モデル（VFM）を組み合わせ、マルチモーダルなインタラクションをサポートする。
-
OpenAI、強力で費用対効果が高く、ユーザーフレンドリーなエンベッディングモデルを発表
OpenAIは、テキスト検索、テキスト類似性、コード検索など、これまでの5つのモデルの機能を統合した最先端のエンベッディングモデルであるtext-embedding-ada-002を発表した。この新しいモデルは、従来のもっとも高性能なモデルであるDavinciをほとんどのタスクで上回り、しかも99.8%の大幅なコスト削減を実現している。また、text-embedding-ada-002はより使いやすくなっており、ユーザーにとってより便利な選択肢となっているのだ。
-
ML.NETモデルビルダーに文章類似度トレーニングのシナリオを追加
マイクロソフトはモデルビルダーに「Sentence Similarity」シナリオを追加する情報を公開した。このシナリオは文章の類似度モデルのトレーニングを可能にするものだ。このシナリオがモデルビルダーに追加されたことと合わせて、モデルビルダー GPU extensionをインストールする必要がなくなった。さらにマイクロソフトはdeep learning、LightGBM algorithm、AutoMLの分野での開発について、今後数ヶ月の作業について通知している。
-
モバイルやノートパソコンでローカル実行可能な大規模言語モデル MLC LLMを公開
MLC LLMは、大規模言語モデルを様々なハードウェアやアプリケーションに展開することを目的とした新しいオープンソースプロジェクトだ。このプロジェクトにはユースケース毎にモデルのパフォーマンスを最適化するためのフレームワークも含まれている。
-
Stability AIが70億パラメータのオープンソースな言語モデル「StableLM」を公開
Stability AIは、大規模言語モデル（LLM）スイートであるStableLMのための訓練済み重みづけモデルを2セット公開した。これらのモデルは、1.5兆個のテキストトークンで学習済で、CC BY-SA-4.0の下で商用利用が許可されている。
-
Hugging FaceがChatGPTに代替版チャットHuggingChatをオープンソースで公開
HuggingChatは、Hugging Faceでテストできる新しいAI搭載のチャットボットだ。記事の下書き、コーディング問題の解決、質問への回答など、ChatGPTが最近多くの関心を集めている多くのタスクを実行できる。
-
Hugging Faceの大規模言語モデルを用いて複雑なAIタスクを解決するHuggingGPT
浙江大学とMicrosoft Research Asiaの研究者による最近の論文では、Hugging Faceのようなコミュニティで利用できる既存のAIモ��ルを管理するためのコントローラーとして、大規模言語モデル（LLM）の利用が検討されている。
-
責任あるAI ～ 原則から実践へ
QCon Londonカンファレンスにおいて、マイクロソフトのプリンシパルプロダクトマネージャーであるMehrnoosh Sameki氏が"責任あるAI ～ 原則から実践へ"と題して講演した。彼女は責任あるAIの6つの主要な原則と、これらの原則を実践するために不可欠な4つの要素について説明し、Fairlearn、InterpretML、責任あるAI Dashboardなどの有用なツールを紹介した。
-
Google、より効率的なAI学習アルゴリズムを発見するためにAutoMLを使用
Googleの研究者は、自動機械学習（AutoML）進化アルゴリズムによって発見された、ニューラルネットワークを訓練するための最適化アルゴリズムEvoLved sIgn mOmeNtum（Lion）をオープンソース化した。Lionで学習したモデルは他のオプティマイザで学習したモデルよりも、いくつかのベンチマークで高い精度を達成でき、しかも収束に要する計算サイクルは少なくて済む。