InfoQ ホームページ apache_kafka に関するすべてのコンテンツ
-
KSQLがConfluent Cloudで利用可能に
KSQLは、Apache KafkaのストリーミングSQLエンジンであり、現在、Confluent Cloud Platform上でフルマネージドサービスとして、利用量ベースの料金プランですべての顧客が利用できる。最近のブログ投稿で、ConfluentはConfluent Cloud KSQLの提供を発表した。
-
OracleがCloud Native Servicesを拡張し、Kafka Streaming、API Gateway、ログサポートを追加
先日のブログ記事で、Oracleは、同社Oracle cloud Native Servicesプラットフォームで３つの新サービスを限定的に公開すると発表した。Kafka Compatibility for Oracle Streaming、サーバレスコンポーネントやコンテナとの接続を管理するAPI Gateway、複数のリソースやアプリケーションのログ管理と分析をサポートするLoggingサービスがその内容だ。
-
データエンジニアリングの未来 - QCon San FranciscoでのChris Riccomini氏の講演より
QCon San Francisco 2919で、Chris Riccomini氏が、"The Future of Data Engineering"と題した講演を行った。おもな内容は、完全に自動化された非集中型データウェアハウスの実現という、データエンジニアリングの最終目標への到達に関するものだ。
-
Jagadish Venkatraman氏、LinkedInのSamza 1.0開発を語る
先日のApacheCon North AmericaでJagadish Venkatraman氏は、LinkedInが大規模なストリーム処理を行うためにApache Samza 1.0を開発した経緯について講演した。その中で氏は、兆単位のイベントと数ペタバイトのデータを抱えるLinkedInのユースケースについて説明し、ステートフル処理、高レベルAPI、柔軟な展開モデルといった、1.0リリースで追加された機能を強調した。
-
Celia Kung氏、LinkedInのBrooklinデータストリーミングサービスを語る
LinkedInチームのCelia Kung氏は、先週のQCon New York 2019 Conferenceで、プラグイン可能なソースとデスティネーションをサポートするデータストリーミングサービスであるBrooklinについて講演した。さまざまなデータストアとメッセージングシステムが使用可能になることで、柔軟性と拡張性を備えたソリューションが実現する。Brooklinは、LinkedInで開発されたストリームインフラストラクチャプラットフォームの一部である。
-
Expo：Walmart LabsでのSpark StreamingとKafkaを使ったリアルタイムA/Bテストとモニタリング
WalmartLabsのエンジニアリングチームは、Expoと呼ばれるリアルタイムのA/Bテストツールを開発した。これは、ユーザエンゲージメントメトリックを収集し分析するものである。Spark Structured Streamingを使用して受信データを処理し、メトリクスをKairosDBに格納する。
-
AllegroがHermes 1.0をローンチ、Kafkaを基盤とするRESTベースのメッセージブローカ
AllegroがHermesのバージョン1.0を発表した。Apache Kafka上に構築された、Rest APIベースのメッセージブローカだ。新機能は含まれないが、この最初のメジャーバージョンリリースは、現在の安定版コードベースを基盤としている。
-
AmazonのマネージドKafkaがKafka Streamingのセットアップと使用の簡素化を目指す
AWS re：invent 2018でパブリックプレビューとして導入された、Kafka用のAmazon Managed Streaming（MSK）は現在一般に利用可能である。 Amazon MSKは、Kafkaをベースにしたストリーミングアプリケーションの構築と実行を容易にすることを目的としている。
-
PinterestにおけるApache Kafkaのスケールアップ
Pinterestでは、リアルタイムストリーミングアプリケーションのデータ転送やロギング、監視のためのメトリクスの可視化にApache Kafkaを採用している。AWSにホストされているPinterestのKafkaインストレーションでは、レプリケーションと高可用性のためにMirrorMakerとDoctorKafkaツールが使用されている。
-
クラウドベンダーの使用を制限するConfluent Platformのライセンス変更
Confluentは、データを転送する機能とシステムとデータソースを接続するツールを提供するストリーミングプラットフォーム、Confluent Platformの一部コンポーネントに関するライセンス変更を発表した。今回のライセンス変更は、特に、SaaSプロバイダによるこれらコンポーネントの使用制限にフォーカスしている。
-
Amazon、Managed Streaming for Kafkaのパブリックプレビューを発表
AmazonはAWS re:Invent 2018で、顧客がApache Kafkaを用いてストリーミングデータ処理を行うアプリケーションを簡単に構築および実行できるようにする新しいフルマネージドサービスを発表した。この新しいサービスはAmazon Managed Streaming for Kafka、略してAmazon MSKと呼ばれ、現在パブリックベータとして提供されている。
-
Confluent Platform 5.0がLDAP認証とIoTインテグレーション用のMQTT Proxyをサポート
Confluent Platform 5.0は、Apache Kafka上に開発されたエンタープライズストリーミング用のプラットフォームである。LDAP認証、Kafkaトピックインスペクション、IoT(Internet of Things)統合用のConfluent MQTT Proxyなどをサポートする。
-
eBayがKubernetes、Envoy、Kafkaでプラットフォームを刷新し、ハードウェアとソフトウェアをオープンソースとして公開
eBayはかねてから、同社のテクノロジスタック全体を再プラットフォーム(replatform)化する活動の実施について検討を続けているが、その中には、ハードウェアとソフトウェアのオープンソースとしてリリースも含まれる。オープンソースはeBayのインフラストラクチャにおいて、KubernetesやEnvoy、MongoDB、Docker、Apache Kafkaといったクラウドネイティブなテクノロジによるソフトウェア変革の原動力である。
-
NATSにKafka風ログAPIを加えたLiftbridge
ホットなイベント駆動テクノロジの世界に参入したLiftbridgeは、NATSメッセージングシステムを、スケーラブルなKafka風ログAPIで拡張したオープンソースプロジェクトだ。InfoQは作者のTyler Treat氏に、同プロジェクトの詳細や、データ統合の変化の動向について話を聞いた。
-
KubernetesでのKafkaクラスタの管理と運用
Amadeus社のプラットフォームソリューションアーキテクトであるNenad Bogojevic氏はKubeCon + CloudNativeCon North America 2017 Conferenceで、Kubernetes環境でKafkaクラスタを実行および管理する方法について講演した。彼は、Kafkaクラスタをプロビジョニングし、KubernetesカスタムリソースまたはConfigMapsを使用して設定することについて話した。