Grab社は、シンガポールを拠点とするデジタルサービス配信プラットフォームであり、Apache Kafkaが下流の消費者に提供するデータの品質を向上させるため、Cobanという内部プラットフォームにデータ品質監視機能を追加した。この変更は同社のエンジニアリングブログで説明されている。「以前は、Kafkaストリームデータ処理の監視において、データ品質検証のための効果的なソリューションが不足していた」とチームは述べている。「この制限により、不良データの特定、ユーザーへの迅速な通知、下流ユーザーへの連鎖的な影響がさらに拡大するのを防ぐことが困難だった」と述べている。
Grab社が経験したエラーは主に2種類に分類される。構文的エラーと意味的エラーである。構文的エラーはメッセージ構造のエラーから発生する。例えば、プロデューサーがスキーマでintとして定義されたフィールドに対して文字列値を送信すると、コンシューマー向けアプリケーションがデシリアライズエラーでクラッシュする可能性がある。意味的エラーは、メッセージ内のデータ値が不適切に構造化されているか、許容範囲外である場合に発生する。例えば、user_idフィールドが構文的には正しい文字列であっても、会社全体で定められた形式である「usr-{8桁}」に準拠していない場合、意味的ルールに違反する。
これを解決するために、Grab社のエンジニアリングチームはデータ契約定義、自動テスト、データ品質アラートをサポートする新しいアーキテクチャを実装した。このシステムの中核は、テスト構成と変換エンジンである。
このエンジンは、トピックデータスキーマ、メタデータ、テストルールを入力として受け取り、FlinkSQLベースのテスト定義セットを作成する。Flinkジョブはこれらのテストを実行し、プロダクションKafkaトピックからメッセージを消費し、エラーをGrab社のオブザーバビリティ基盤に転送する。FlinkSQLは、ストリームデータを動的テーブルとして表現できる能力により選ばれた。この機能により、効率的に実装可能なルールのデータフィルターを自動生成できる。
数百のフィールド固有ルールを定義するという非常に負担の大きい作業を簡素化するために、プラットフォームはLLMを使用してKafkaストリームスキーマと匿名化されたサンプルデータを分析し、潜在的な意味的テストルールを推奨する。この機能はセットアッププロセスを劇的に加速し、非明示的なデータ品質制約を特定するのに役立つ。
今年初めに導入されたこのシステムは、現在100以上の重要なKafkaトピックにわたるデータ品質を積極的に監視している。チームは「このソリューションは、複数のストリームにわたる無効データの伝播を即座に特定し停止する能力を提供する。このことにより、問題の診断と解決プロセスが加速され、ユーザーがプロダクションデータの課題に迅速に対処できる」と報告している。
このアプローチは、まだ一般的とは言えない業界のベストプラクティスに沿っている。Confluent社による最近の2025 Data Streaming Reportによれば、「データストリーミングが戦略的な推進力となり、ストリームが製品として管理されている」最高成熟度レベルに到達している企業は推定1%に過ぎない。Grab社は、契約ベースのデータ品質監視を積極的に実施することで、内部ユーザーにとって信頼性の高い製品としてデータストリームを扱っている。
Grab社のプラットフォーム強化は、データパイプラインにオブザーバビリティを追加するという広範な業界トレンドの一環であり、新興スタートアップやリアルタイムデータ品質指標に関する学術研究が活発化している分野である。