BT

最新技術を追い求めるデベロッパのための情報コミュニティ

寄稿

Topics

地域を選ぶ

InfoQ ホームページ ニュース Amazon、Managed Streaming for Kafkaのパブリックプレビューを発表

Amazon、Managed Streaming for Kafkaのパブリックプレビューを発表

ブックマーク

原文(投稿日:2018/12/06)へのリンク

AmazonはAWS re:Invent 2018で、顧客がApache Kafkaを用いてストリーミングデータ処理を行うアプリケーションを簡単に構築および実行できるようにする新しいフルマネージドサービスを発表した。この新しいサービスはAmazon Managed Streaming for Kafka、略してAmazon MSKと呼ばれ、現在パブリックベータとして提供されている。

Apache Kafkaはオープンソースの非常にスケーラブルな分散型ストリーミングプラットフォームで、複数のプロデューサーとコンシューマーをサポートし、企業間でデータストリームを接続できる。Apache Kafkaのインフラストラクチャ管理経験を必要としないAWSのマネージドサービスとして、現在、AmazonはKafka version 1.1.1を提供している。AWSはZookeeperノードにおけるブローカーのライフサイクルを完全に自動化する。ノードの1つに障害があっても、サービスはうまく対処してくれる。Amazon Data StreamingのPrincipal Product ManagerであるDamien Wylie氏は、プレゼンテーションで次のように説明する。

私たちは障害を自動的に検出して、新しいノードを再導入します。したがって、IPはそのままで、最終的に、クラスター実行中に必要なパッチは自動で適用されます。

AmazonはUS East (Virginia) リージョンでMSKを提供しており、クラスターにはプライベート接続のためにAmazon VPC (Virtual Private Cloud) が必要になる。MSKはプレビューで以下をサポートする。

  • 保管時の暗号化のためのAWS KMS (Key Management Service)
  • コントロールプレーンAPI認証用のAWS IAM (Identity and Access Management)(ブローカーのプロビジョニングとティアダウン)
  • Apache Kafkaブローカー、トピック、ZooKeeperメトリクスのためのAmazon CloudWatch
  • ブローカーのインスタンスとしてAmazon EC2 (Elastic Compute Cloud) M5
  • Amazon EBS GP2 ブローカーストレージ

Amazon MSKはAWS管理コンソールやCLI、SDKを使って簡単にデプロイできる。ユーザーはAmazon MSKクラスターがプライベートに接続するのに必要なサブネットを入力し、ブローカーの数とブローカーあたりに必要なストレージを指定して、Apache Kafkaクラスターを作成する。次にクラスターを設定して、プロデューサーからトピックへ、アプリケーションにデータをストリームさせる。このデータはコンシューマーによってリアルタイムに読み出される。

 
画像のソース: https://aws.amazon.com/msk/

MSKとKinesesにより、AmazonはAWSで2つのストリーミングサービスを提供する事になる。どちらも同じようなコンセプトで、ストリーミングデータのインジェストにフォーカスしており、顧客にはマネージドKafkaサービスか通常のAWSに移行する選択肢がある。


ソース (スクリーンショット): https://www.youtube.com/watch?v=zhsVfsykBHc

現在、プラットフォームにKafkaの選択肢があるのはAmazonだけではない。Microsoftは最近、彼らのEvent Hubsストリーミングサービスの前にKafkaエンドポイントを提供することで、Kafkaをサポートした。AzureにマネージドKafkaサービスを持ってくる代わりに、Event HubをマネージドKafkaのように使えるようにした。また、Event HubsはKinesisと同様、Kafka自体とコンセプトが似ている。

Amazon MSKでは、前払いのコストは発生せず、顧客はブローカーインスタンスとストレージに対して「使用した分だけ支払う」ことになる。プレビューでは、ブローカーは時間あたり$0.21のM5インスタンスとして動き、ブローカーストレージはGB月あたり$0.10だ。MSKに関するHacker Newsのディスカッションでは、ある人が料金についてこう述べた

ちょっとした注意ですが、時間あたり$.21のブローカーはm5.large(2 CPU、8 GBメモリ)上のもので、これは時間あたり$.096で動かせます。私たちはちょうど今、m5.xlargeインスタンスで3つのノードを動かしています。マネージドKafkaだと時間あたり$.42、セルフホストしたKafkaだと時間あたり$.192になります。今のところ、私たちはセルフホストし続けると思います。

これに反論するコメントがTwitterに投稿された。Jared Short氏は、セルフホスティングの総所有コスト(TCO)は大きい可能性がある(そのことはやや隠されている)ことを明らかにした。

「...3つのノードを動かしています。マネージドKafkaだと時間あたり$.42、セルフホストしたKafkaだと時間あたり$.192になります。今のところ、私たちはセルフホストし続けると思います」HNの数学は大好きだよ。実世界の数学だと、1年で約$2000の差、エンジニアリング時間は約20時間になる。メンテナンスは無料ではありません。真のコストを曖昧にしています。

最後に、Wylie氏は、GAリリースにおいて、MSKのSLA提供、バージョンのアップグレード、クラスターのスケールアウトおよびアップのオプション提供、ユーザーによるカスタムのクラスター構成定義、ストレージの自動スケール、タグ付け、AWS CloudTrailおよびAWS CloudFormationsのサポート追加を可能にすると述べた。MSKもワールドワイドで提供されるだろう。

 
 

Rate this Article

Adoption Stage
Style
 
 

この記事に星をつける

おすすめ度
スタイル

BT