InfoQ ホームページ Infrastructure に関するすべてのコンテンツ
-
データエンジニアリングの未来 - QCon San FranciscoでのChris Riccomini氏の講演より
QCon San Francisco 2919で、Chris Riccomini氏が、"The Future of Data Engineering"と題した講演を行った。おもな内容は、完全に自動化された非集中型データウェアハウスの実現という、データエンジニアリングの最終目標への到達に関するものだ。
-
Microsoftがデータウェアハウスおよび分析サービスのAzure Synapseを発表
年次開催されるIgniteカンファレンスで、Microsoftによる今年の発表のひとつとして、Azure Synapseという新しい分析サービスに関するものがあった。Azure SQL Data Warehouseの後継となるこのサービスは、企業規模のデータウェアハウスとビッグデータ解析をひとつの場所で実現するものだ。
-
Hashicorp、マルチクラウドオートメーションに対応したTerraform Cloudをリリース
先日のブログ記事でHashiCorpは、チームがインフラストラクチャ・アズ・コードのワークフロー管理を行うオープンソースプラットフォームであるTerraform Cloudのフルリリースを発表した。このオーケストレーションはクラウド非依存のツールを介して行われるため、反復可能な自動化による生産性の向上が可能になる。今回の発表は、2019年5月に発表されたRemote State Managementに続くものだ。
-
KubernetesとvSphereを統合したVMWareのProject Pacific
VMWareは、Kubernetesコントロールプレーンを内蔵したvSphereの再設計バージョンであるProject Pacificを発表した。vSphereのインストレーション内で、コンテナと仮想マシンの統合管理を可能にすることがその目標だ。
-
Jagadish Venkatraman氏、LinkedInのSamza 1.0開発を語る
先日のApacheCon North AmericaでJagadish Venkatraman氏は、LinkedInが大規模なストリーム処理を行うためにApache Samza 1.0を開発した経緯について講演した。その中で氏は、兆単位のイベントと数ペタバイトのデータを抱えるLinkedInのユースケースについて説明し、ステートフル処理、高レベルAPI、柔軟な展開モデルといった、1.0リリースで追加された機能を強調した。
-
pacheCon 2019基調講演 - Google CloudによるKubernetesを使用したビッグデータ処理の拡張
ApacheCon North AmericaでChristopher Crosbie氏が、"Yet Another Resource Negotiator for Big Data? How Google Cloud is Enhancing Data Lake Processing with Kubernetes"と題した基調講演を行った。講演の中で氏が強調したのは、Kubernetesクラスタ内でApacheソフトウェアを動作させるためのコントロールプレーンを提供する、オープンソースのKubernetesオペレータを開発することによって、Apacheのビッグデータソフトウェアを"クラウドネイティブ"にするという、Googleの取り組みについてだった。
-
GoogleがHadoopのビッグデータワークロード用にCloud Storage Connectorを公開
Googleは先日のブログ記事で、Cloud Strage Connector for Hadoopを新たに発表した。この新機能によって、従来のHDFSをGoogle Cloud Storageに置き換えることが可能になる。ParquetやORCといったカラムナファイル(Columnar file)形式により、スループット向上の実現が期待されると同時に、Cloud Storageディレクトリの分離、低いレイテンシ、並列性の向上、インテリジェントなデフォルト設定といったメリットを享受することができる。
-
AWSユーザにMLを提供するAmazon Personalizeが一般利用可能に
昨年11月のAWS re：Inventで初めて発表されたAmazon Personalizeが、すべてのAWSユーザを対象に一般公開された。このサービスを使用すれば、マシンラーニングの経験がなくても、パーソナライズされたプロダクトレコメンデーション、検索結果、ダイレクトマーケティングなどのモデルを含む、独自のマシンラーニングモデルをアプリケーションに加えられるようになる。
-
Ceph Nautilus、EdgeFS、NFSオペレータのサポートを加えたRook v1.0
KubernetesのストレージオーケストレータであるRookが、コンテナ内のファイル、ブロック、オブジェクトなどのストレージを使用する実稼働ワークロードを対象としたバージョン1.0をリリースした。Rook 1.0のハイライトのひとつは、Ceph Nautilus、EdgeFS、NFSといったオペレータによるストレージプロバイダのサポートである。例えば、PodからのNFSファイルシステムの要求に対してRookは、手作業による介入のないプロビジョニングが可能だ。
-
AIとデータに関するロサンゼルスCTO円卓会議
先日ロサンゼ��スで行われた"Leaders in Data CTO Roundtable"では、ビジネス向け人工知能(AI)フレームワークやプラットフォーム、今後5年間のデータ、データソフトウェアスタック、データ人材の獲得などが議論された。
-
Badooのデータエンジニアリング：1日あたり200億のイベントを処理
Badooは現在、1日あたり数十億のイベントを処理する出会い系ソーシャルネットワークであるとデータプラットフォームエンジニアリングリードのVladimir Kazanov氏は説明する。Skills Matterで、彼はこの規模での運用の課題と、Badooがこのデータを処理およびレポートするために使用するツールについて説明した。
-
個人データを共有せずにシングルサインオンを提供する "Sign in with Apple"
先日のWWDC 2019で、Appleは、Sign in with Appleという、独自のシングルサインオン(SS)サービスを発表した。Time誌が"Appleの最も重要な、新しいイノベーション"とするSign in with Appleでは、Eメールアドレスを含む一切の個人ユーザデータを共有しないことが確約されている。
-
Cloudflareが公式CLIを採用、サードレベルのカスタムドメイン名を発表、無償ティアを導入
公式CLIとしてWranglerの採用、独自ドメインを必要としないデプロイ機能の提供、無償ティアの提供というCloudflareの一連の発表により、Cloudflareのインフラストラクチャへのデプロイが誰でも可能になる。
-
VMWare環境をAzureへ - MicrosoftとVMWareがパートナシップを締結
先日のDell Technologies Worldカンファレンスで、MicrosoftとVMwareは、VMware認定クラウドインフラストラクチャをMicrosoft Azure上で実行可能にするパートナーシップを発表した。Microsoftによる今回のファーストパーティ機能は、VMware認定パートナであるCloudSimpleの提供するソリューションを使用して実現されるもので、正式にはAzure VMware Solution by CloudSimpleという名称になる。
-
Cloudflare。エッジ用のサーバレス・キーバリューストアWorkers KVをリリース
アプリケーションとクライアントのブラウザの間にあるのは何か？その答が"インターネット"である時、Cloudflareは、彼らのWorkersプラットフォームが役に立つことを願っている。同社は先日、180以上のエッジロケーションで利用可能な、分散形式で結果整合(eventualy-consistent)型のキーバリューストアであるWorker KVによって、自社のプラットフォームを拡張した。