InfoQ ホームページ Infrastructure に関するすべてのコンテンツ
-
DT OneにおけるセルフマネージドKubernetesの高可用性の実現
モバイルトップアップ(top-up)とリワード(reward)の世界的なソリューションプロバイダであるDT oneのエンジニアリングチームが、Hetzner(訳注:ドイツのホスティング会社)のホスティングプラットフォーム上に展開した同社のセルフマネージドKubernetesクラスタイングレスを対象に、IPフェールオーバベースのHA(High Availability)を実装した方法に関する記事を公開した。
-
DatadogがKubernetesで大規模クラスタを実現するまで
DatadogのLaurent Bernauille氏がベルリンのVelocityカンファレンスで、自己管理型Kubernetesクラスタを大規模に運用する際の課題について講演した。Bernaille氏が焦点を当てたのは、レジリエントでスケーラブルなコントロールペーンを設定する方法、証明書(certificate)を高頻度でローテーションする理由と方法、Kubernetesで効率的な通信を実現するためにネットワークプラグインを使用することの必要性、といった話題だ。
-
-
CloudFlareがNetwork Time Securityプロトコルのオープンソース実装をリリース
CloudFlareは、同社のNetwork Time Security(NTS)プロトコルの最初のメジャーリリースを発表した。同社が以前リリースした、Network Time Protocol(NTP)とNTSをサポートする無償のタイムサービズであるtime.cloudflare.comがベースとなっている。
-
データエンジニアリングの未来 - QCon San FranciscoでのChris Riccomini氏の講演より
QCon San Francisco 2919で、Chris Riccomini氏が、"The Future of Data Engineering"と題した講演を行った。おもな内容は、完全に自動化された非集中型データウェアハウスの実現という、データエンジニアリングの最終目標への到達に関するものだ。
-
Microsoftがデータウェアハウスおよび分析サービスのAzure Synapseを発表
年次開催されるIgniteカンファレンスで、Microsoftによる今年の発表のひとつとして、Azure Synapseという新しい分析サービスに関するものがあった。Azure SQL Data Warehouseの後継となるこのサービスは、企業規模のデータウェアハウスとビッグデータ解析をひとつの場所で実現するものだ。
-
Hashicorp、マルチクラウドオートメーションに対応したTerraform Cloudをリリース
先日のブログ記事でHashiCorpは、チームがインフラストラクチャ・アズ・コードのワークフロー管理を行うオープンソースプラットフォームであるTerraform Cloudのフルリリースを発表した。このオーケストレーションはクラウド非依存のツールを介して行われるため、反復可能な自動化による生産性の向上が可能になる。今回の発表は、2019年5月に発表されたRemote State Managementに続くものだ。
-
KubernetesとvSphereを統合したVMWareのProject Pacific
VMWareは、Kubernetesコントロールプレーンを内蔵したvSphereの再設計バージョンであるProject Pacificを発表した。vSphereのインストレーション内で、コンテナと仮想マシンの統合管理を可能にすることがその目標だ。
-
Jagadish Venkatraman氏、LinkedInのSamza 1.0開発を語る
先日のApacheCon North AmericaでJagadish Venkatraman氏は、LinkedInが大規模なストリーム処理を行うためにApache Samza 1.0を開発した経緯について講演した。その中で氏は、兆単位のイベントと数ペタバイトのデータを抱えるLinkedInのユースケースについて説明し、ステートフル処理、高レベルAPI、柔軟な展開モデルといった、1.0リリースで追加された機能を強調した。
-
pacheCon 2019基調講演 - Google CloudによるKubernetesを使用したビッグデータ処理の拡張
ApacheCon North AmericaでChristopher Crosbie氏が、"Yet Another Resource Negotiator for Big Data? How Google Cloud is Enhancing Data Lake Processing with Kubernetes"と題した基調講演を行った。講演の中で氏が強調したのは、Kubernetesクラスタ内でApacheソフトウェアを動作させるためのコントロールプレーンを提供する、オープンソースのKubernetesオペレータを開発することによって、Apacheのビッグデータソフトウェアを"クラウドネイティブ"にするという、Googleの取り組みについてだった。
-
GoogleがHadoopのビッグデータワークロード用にCloud Storage Connectorを公開
Googleは先日のブログ記事で、Cloud Strage Connector for Hadoopを新たに発表した。この新機能によって、従来のHDFSをGoogle Cloud Storageに置き換えることが可能になる。ParquetやORCといったカラムナファイル(Columnar file)形式により、スループット向上の実現が期待されると同時に、Cloud Storageディレクトリの分離、低いレイテンシ、並列性の向上、インテリジェントなデフォルト設定といったメリットを享受することができる。
-
AWSユーザにMLを提供するAmazon Personalizeが一般利用可能に
昨年11月のAWS re：Inventで初めて発表されたAmazon Personalizeが、すべてのAWSユーザを対象に一般公開された。このサービスを使用すれば、マシンラーニングの経験がなくても、パーソナライズされたプロダクトレコメンデーション、検索結果、ダイレクトマーケティングなどのモデルを含む、独自のマシンラーニングモデルをアプリケーションに加えられるようになる。
-
Ceph Nautilus、EdgeFS、NFSオペレータのサポートを加えたRook v1.0
KubernetesのストレージオーケストレータであるRookが、コンテナ内のファイル、ブロック、オブジェクトなどのストレージを使用する実稼働ワークロードを対象としたバージョン1.0をリリースした。Rook 1.0のハイライトのひとつは、Ceph Nautilus、EdgeFS、NFSといったオペレータによるストレージプロバイダのサポートである。例えば、PodからのNFSファイルシステムの要求に対してRookは、手作業による介入のないプロビジョニングが可能だ。
-
AIとデータに関するロサンゼルスCTO円卓会議
先日ロサンゼルスで行われた"Leaders in Data CTO Roundtable"では、ビジネス向け人工知能(AI)フレームワークやプラットフォーム、今後5年間のデータ、データソフトウェアスタック、データ人材の獲得などが議論された。
-
Badooのデータエンジニアリング：1日あたり200億のイベントを処理
Badooは現在、1日あたり数十億のイベントを処理する出会い系ソーシャルネットワークであるとデータプラットフォームエンジニアリングリードのVladimir Kazanov氏は説明する。Skills Matterで、彼はこの規模での運用の課題と、Badooがこのデータを処理およびレポートするために使用するツールについて説明した。