InfoQ ホームページ Distributed_Systems に関するすべてのコンテンツ
-
Dynein - Airbnbの開発した非同期バックグラウンドジョブサービス
Airbnbでは、大量のリソースと処理時間を要するタスクを非同期バックグラウンドジョブを移行することで、スケーラビリティの改善を測っている。ジョブスケジュールシステムは非常に重要なコンポーネントであるため、同チームでは、高度にスケーラブルなスケジューラを備えた分散型遅延ジョブキューサービスとしてDyneinを開発した。今回の記事では同社のAndy Fang氏が、このサービスの設計および開発に関する背景と課題について説明している。
-
"AWS IoT Day"要約 - 8つの強力な新機能
AWS re:Inventの事前発表のひとつとして、Amazonは、同社のIoTプラットフォームの8つの新機能を公開した。Secure Tunneling、Configurable Endpoints、Custom Domains for Configurable Endpoints、Enhanced Custom Authorizers、Fleet Provisioning、Alexa Voice Service(AVS)インテグレーション、AWS IoT Greengrassの拡張だ。
-
OracleがCloud Native Servicesを拡張し、Kafka Streaming、API Gateway、ログサポートを追加
先日のブログ記事で、Oracleは、同社Oracle cloud Native Servicesプラットフォームで３つの新サービスを限定的に公開すると発表した。Kafka Compatibility for Oracle Streaming、サーバレスコンポーネントやコンテナとの接続を管理するAPI Gateway、複数のリソースやアプリケーションのログ管理と分析をサポートするLoggingサービスがその内容だ。
-
pacheCon 2019基調講演 - Google CloudによるKubernetesを使用したビッグデータ処理の拡張
ApacheCon North AmericaでChristopher Crosbie氏が、"Yet Another Resource Negotiator for Big Data? How Google Cloud is Enhancing Data Lake Processing with Kubernetes"と題した基調講演を行った。講演の中で氏が強調したのは、Kubernetesクラスタ内でApacheソフトウェアを動作させるためのコントロールプレーンを提供する、オープンソースのKubernetesオペレータを開発することによって、Apacheのビッグデータソフトウェアを"クラウドネイティブ"にするという、Googleの取り組みについてだった。
-
Reactive FoundationがLinux Foundationの下に発足
Linux Foundationは、Reactive Foundationのローンチを発表した。次世代ネットワークアプリケーション構築のテクノロジを加速する目的で設立された、リーダたちによるコミュニティである。Alibaba、Facebook、Lightbend、Netifi、Pivotalが初期メンバとして参加した財団は、成功を収めたオープンソースのReactive StreamsとRSocketの仕様を保有する。
-
GoogleがHadoopのビッグデータワークロード用にCloud Storage Connectorを公開
Googleは先日のブログ記事で、Cloud Strage Connector for Hadoopを新たに発表した。この新機能によって、従来のHDFSをGoogle Cloud Storageに置き換えることが可能になる。ParquetやORCといったカラムナファイル(Columnar file)形式により、スループット向上の実現が期待されると同時に、Cloud Storageディレクトリの分離、低いレイテンシ、並列性の向上、インテリジェントなデフォルト設定といったメリットを享受することができる。
-
eBayのAPI戦略
バージョニングの不適切なSOAPベースのAPIに長年悩まされていたeBayが、セマンティックバージョニングを備えたRESTful APIへの移行と非推奨標準(deprecation standard)の導入を決定した。今回の移行で重視されたのは、eBayのAPIを利用する新たなアプリケーションの開発を容易にする拡張性と適応性だ。Tanya Vlahovic氏がそのコンセプトと、それらがAPIにどのように実装されているかを説明している。
-
サーバレスアーキテクチャの特徴
サーバーレスアーキテクチャを扱った最近の文献は、その多くがクラウドプロバイダによって書かれているため、メリットを強調し過ぎている — Wisen Tanasa氏は先日のブログ投稿で、このように書いた。新たなテクノロジが現れた時には、それを採用することの意味について理解することが重要である。Tanasa氏がサーバーレスアーキテクチャの特性について、より客観的な理解を提供しようとしているのは、そのような理由からだ。
-
イベントソーシングシステム開発時の間違いとリカバリ
Nat Pryce氏とチームがイベントソースアーキテクチャに基づいたシステム構築に着手した時、氏らは重大な設計上のミスをいくつか犯したが、自分たちも驚くほど簡単にリカバリすることができた。氏はブログ記事で、氏らが犯した間違いと、アーキテクチャのリファクタリングによるリカバリを可能にした要因について説明している。
-
分散システムのパターン
Mathias Verraes氏が一連のブログ記事を���稿して、自身が仕事で出会った、有用な分散システムのパターンについて説明している。現時点で16のパターンを、デカップリング、汎用メッセージング、イベントソーシングという３分野に定義する。目的は、各パターンをその有用なコンテキストとともに識別し、命名し、文書化することだ。
-
コンテキスト境界を定義する - Eric Evans氏のDDD Europeでの講演より
コンテキスト境界(bounded context)とは、特定の用語や規則が一貫した方法で適用されるソフトウェアの定義部分である — Eric Evans氏は今年初め、DDD Europeで行った基調講演でこのように解説して、洗練されたモデルと言語、明確な定義の必要性を説いだ。先日公開されたプレゼンテーションでは、さまざまな種類のコンテキスト境界や、マイクロサービスとの関係について説明している。
-
ブロックチェーン開発者ツールをエンタープライズに導入するためにTruffleとMicrosoftがパートナーシップを発表
最近のブログ投稿で、MicrosoftとTruffleは、ブロックチェーン開発者ツールとエクスペリエンスをMicrosoft Azureエコシステムに持ち込むパートナーシップを発表した。組織が行っている投資には、テスト用のローカルブロックチェーンノード、テストデータ、スマートコントラクトオーサリングと継続的デプロイ、デバッグ、テストが含まれる。
-
Microsoft、Salesforce、Ethereum FoundationがオープンソースHyperledger Blockchain Projectに参加
最近のプレスリリースで、オープンソースのブロックチェーンおよび分散型台帳プロジェクトであるHyperledgerが、彼らのコンソーシアムにMicrosoft、Salesforce、Ethereum Foundationなどから8人の新しいメンバーが参加したことを発表した。これらの組織は、Airbus、Cisco、IBM、Intelなどの設立時のメンバーに加わる。
-
Badooのデータエンジニアリング：1日あたり200億のイベントを処理
Badooは現在、1日あたり数十億のイベントを処理する出会い系ソーシャルネットワークであるとデータプラットフォームエンジニアリングリードのVladimir Kazanov氏は説明する。Skills Matterで、彼はこの規模での運用の課題と、Badooがこのデータを処理およびレポートするために使用するツールについて説明した。
-
マイクロサービスからサーバーレスへ: Phil Calçado 氏、 QCon New York にて
SoundCloud、Meetup、SeatGeek での経験をもつ Phil Calçado 氏は、キャリアを通じてモノリスからマイクロサービスアーキテクチャへの移行プロジェクトを経験している。近年では、サーバーレスへの移行が課題となってきている。QCon New York でのプレゼンテーションでは、彼はサーバーレスの概念とマイクロサービスを交えて彼の経験を語った。