BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

LinkedIn详细介绍了由他们开源的Kafka Monitor

| 作者 Dylan Raithel 关注 8 他的粉丝 ,译者 谢丽 关注 11 他的粉丝 发布于 2016年6月15日. 估计阅读时间: 4 分钟 | AICon 关注机器学习、计算机视觉、NLP、自动驾驶等20+AI热点技术和最新落地成功案例。

在2016年4月份举行的Kafka峰会上,LinkedIn在Apache 2.0许可协议开源Kafka Monitor,并于近日详细介绍了该监控工具的架构以及他们最初的构建动机。在年初的时候,LinkedIn曾在一篇有关Kafka整体应用的文章中简单地提及过Kafka Monitor,但并没有详细介绍该项目的语义组成或者背后的动机。

Kafka Monitor项目的动机有三个:

  1. 需要监控和测试Kafka部署并跟踪主干稳定性,以便他们能够尽早捕获正在开发的变更集中的问题;
  2. 需要不间断地在生产集群上监控SLA,并不断地在测试集群上运行回归测试;
  3. 现有的监控框架无法满足其用例的扩展性、模块化需求,他们需要一个自定义的客户端库。

网站可靠性工程部门过去已经监控了输入速率、离线分区数和正在复制的分区数等指标,以确定Kafka集群的可用性和系统整体的健康状况。然而,问题在于,这类原始的值本身无法表明集群在终端用户体验方面是否真的可用。

在LinkedIn的公开出版物Keystone Pipeline里,他们提到了两个潜在的Kafka候选监控方案,微软的一个项目和Netflix Kafka监控,但最终确定它们不适合自己的应用场景。

Kafka Monitor允许开发人员组合模拟各种故障场景的模块,如GC中断、broker硬杀及“滚动弹出(rolling bounces)”、磁盘故障,并随着场景进行收集有关服务运行时行为的指标。每次当生产者创建消息时抛出的异常被捕获,衡量生产者服务错误率的指标就会增加。消费者服务会跟踪一个由Kafka分区分割的增量索引计数器以及消息净荷的时间戳,以便度量消息丢失率、重复率以及端到端延迟。

Kafka Monitor实例运行在一个单独的Java进程中,运行多个测试,介于用户或消费者服务与Kafka集群之间。Kafka Monitor收集的运行时指标包括生产者服务的生产效率、消费者服务的消费效率、消息丢失、消息重复和端到端延迟。多个Kafka Monitor跨多个Kafka集群运行大量的测试场景,这可以由一个复制服务通过镜像方式捕获跨集群的总体延迟指标。

Kafka Monitor原生支持Java,但也为非JVM语言提供了一个REST接口。这对开源社区有着特殊的意义,LinkedIn的Dong Lin表示:

我们一般会脱离Apache Kafka主干,并每季度生成一个新的内部版本,或者吸收Apache Kafka的新特性。脱离主干的一个显著的好处是,部署在LinkedIn生产集群中的Kafka经常有已经在Apache Kafka主干中检测到的问题,他们可以在Apache Kafka正式版本发布之前进行修复。

Kafka项目本身包含一些系统测试,每次代码捡入时都会运行,鉴于和Kafka主干的紧密关系,LinkedIn计划实现类似的系统测试。他们希望将Kafka Monitor和类似Simoorg这样的错误注入框架以及Graphite或类似的框架集成,以便能够通过一个单独的Web服务查看Kafka Monitor集群生成的所有指标。

LinkedIn还简单地提到了如何设置基本的监控,生成并可视化核心指标。他们的GitHub页面提供了详细的信息。

查看英文原文LinkedIn Details Open-Sourced Kafka Monitor

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT