InfoQ ホームページ AIと機械学習、データエンジニアリング に関するすべてのコンテンツ
-
IntelはApache Spark上で動作する分散型ディープラーニングライブラリであるBigDLをオープンソース化
IntelはApache Spark上で動作する分散型ディープラーニングライブラリであるBigDLをオープンソース化した。既存のSparkクラスタを活用して、ディープラーニングの計算を実行し、Hadoopに格納された大量のデータセットからのデータロードを容易にする。
-
AWS re:Inventのまとめ
ラスベガスで毎年開催されるre:Inventカンファレンスにおいて、AWSが、やがて公開されるクラウドサービスを相次いで発表した。Amazonは、パブリッククラウドと一緒に、20数個の新機能について概要を説明した。それには、S3オブジェクトストレージで直接データクエリを実行すること、デプロイメントパイプラインの一部として、コードを構築すること、低価格の仮想プライベートサーバを供給すること、ETLスタイルでまとめてデータを移動することが含まれる。
-
GoogleのBigQueryに新たなパブリックデータセットが追加
Stack Overflowは、そのデータセットをGoogleのBigQueryを通して利用可能となることを最近発表した。開発者は、標準のSQL文を使用して、投稿、投票、タグ、バッジなどのStack Overflowデータ全体を対象にクエリできる。本投稿では、GoogleのBigQueryプラットフォームを通して利用可能なデータをセットを探っていく。
-
Julien Nioche氏が語るStorm Crawler - Apache Stormをベースとするオープンソースのクローラパイプライン
DigitalPebbleのディレクタで，Apache NutchWebクローラプロジェクトのPMCメンバ兼コミッタであるJulien Nioche氏が，StormCrawlerについての講演を行なった。StormCrawlerはストリーミングフレームワークであるApache Stormをベースとした，分散Webクローラ開発のための再利用可能なコンポーネントのコレクションだ。InfoQはプロジェクトの中心的コントリビュータであるNioche氏にインタビューして，StormCrawlerに関する詳細と，同種のテクノロジとの比較について聞くことにした。
-
Facebookによるグラフデータ処理のためのApache GiraphとSpark GraphXの比較
Facebookチームは、既存のGiraphベースのグラフ処理システムと、人気のSparkフレームワークの一部である新しいGraphXとのパフォーマンス比較を先日公開した。彼らの結論はGraphXは現在、彼らのグラフ処理ワークロードをサポートするために十分なスケーラビリティやパフォーマンスを備えていないということだ。
-
Googleが機械学習APIの提供でターゲットを企業に拡大
エンタープライズでのクラウドの利用はここ数年、ビッグプレイヤの最前線にある。Amazon、IBM、Google、Microsoftはエンタープライズユーザとそのニーズに応えるためにサービスを拡大している。Googleはエンタープライズユーザ向けの一連の機械学習サービスを発表した。
-
Julien Le Dem氏に聞く - Apache Arrowが示すカラム指向データ処理の未来
Apache ArrowプロジェクトでPMCのリーダを務めるJulien Le Dem氏が，カラム指向データ処理の今後について，Data Eng Conf NYでプレゼンテーションを行なった。Apache Arrowはカラム型インメモリデータベースのオープンソース標準である。InfoQはParquetとの違いを確認すべく，氏にインタビューした。
-
Spotifyでの大規模な実験
A/Bテストの試行回数を増やして同時に多数の実験をしたい場合、自分たちのプロセスとプラットフォームに適応する必要があり、これは、文化にも影響を及ぼす可能性がある。制御された実験でプロダクトの研究をすることで実際に顧客がどのようにプロダクトを使っているかについてのアイディアをぶつけ、これらのアイディアがユーザーの振る舞いに影響を与えるかどうかをチェックできる。
-
Facebookが数十億を越える語彙を効率的に扱うニューラルネットワークモデルを構築
シーケンス予測(sequence prediction)にニューラルネットワークを用いるのは，音声認識や機械翻訳，言語モデルなどさまざまなアプリケーション分野において，計算機科学ではよく知られた問題だ。FB AI Researchの研究者たちは，数十億を越える語彙に対してニューラルネットワークを効率的に教育するため，GPUに特化した近似アルゴリズムであるAdaptive SoftMaxを設計した。
-
AmazonによるFPGAを使用可能としたEC2インスタンスのプレビュー
re:invent 2016における発表の衝撃の中の１つに新しいF1インスタンスタイプの開発者プレビューの開始があった。F1は最大8つのハイエンドのXilinx製のField Programmable Gate Arrays(FPGA)から構成されるプログラマブルなハードウェアを提供し、このFPGAは最大976 GiBのRAMと4TBのNVMe SSDストレージと組み合わされるIntel E5 2686 v4プロセッサを補完する。このFPGAはリスク管理、シミュレーション、検索や機械学習アプリケーション、もしくはハードウェア最適化されたコプロセッサから恩恵を得られる任意のタスクのための使用が想定される。
-
Couchbase 4.6 Developer Previewリリース，Apache Spark 2.0およびKafka用のリアルタイムコネクタを追加
Couchbase 4.6 Developer Previewリリースは改善されたフルテキスト検索，グローバルに順序付けされたコンフリクト解決を備えたデータセンタ間レプリケーション，リアルタイム解析テクノロジ – Spark 2.0およびKafka – 用のコネクタなどを備える。
-
トラック公開，登録は出足好調 - QCon London 2017 (3月6〜10日)最新情報
チームリーダやアーキテクトなど，チームのイノベーション推進に影響力を持った人々のための実務者主導のカンファレンスとして，年次開催で11回目を迎えるQCon London 2017が，18の同時トラックに125人以上の講演者を迎えて，3日間にわたって開催される。 先日にも各トラックのトピックが決定し，状況が公開された。今年度のカンファレンスのチケット販売は出だし好調だ — 2016年12月17日以前の登録には360ユーロの割引がある。
-
Amazonの音声認識APIへの細粒度制御の追加
Echoの核となっているNLP(自然言語処理)APIであるAmazonのAlexa Voice Service APIに更新が行われ、開発者はAlexaのAPIの音声認識機能を通じ、任意のデバイスを"賢い"デバイスに変えることができるようになった。
-
Spark Summit EUのハイライト - TensorFlow, 構造化ストリーミング，GPUハードウェアアクセラレーション
Apache SparkとディープラーニングライブラリTensorFlowとの統合，構造化ストリーミング(Structured Streaming)とGPUハードウェアアクセラレーションを使用したオンラインラーニング – この２つが，先週ブリュッセルで開催されたSpark Summit EU 2016のハイライトだ。
-
QCon SF基調講演: ウェアラブルコンピューティングと仮想体験の歴史と未来
Amber Case氏がQCon San Franciscoで開幕基調講演を行なった。その中で氏は，仮想現実インターフェースの歴史と現状，拡張現実が直面する課題について語るとともに，人々がテクノロジの進歩に慣れることが，これらを克服する手段となることを示唆した。