ニュース

Netflix、3万件以上のストリーミングジョブ向けにオープンソースのFlinkオートスケーラーの導入を推進

Netflixは、処理要件が異なるオペレーターを含む複雑なステートフルパイプラインに対し、従来のクラスターレベルのアプローチでは効果が不十分であるとの判断から、複数のAWSリージョンにまたがる3万件以上のストリーミングジョブ向けに、オープンソースのApache Flinkオートスケーラーの導入を進めている。 Netflixの報告によると、あるチームはFlink関連のコンピュート費用を年換算で58%削減し、年間約110万ドルの節約を実現した。