BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

去哪儿网张悦:合适的开源软件,支撑800万+监控指标

| 作者 薛梁 关注 1 他的粉丝 发布于 2016年7月25日. 估计阅读时间: 7 分钟 | CNUTCon 了解国内外一线大厂50+智能运维最新实践案例。

从垂直搜索起家,后杀入在线旅游交易。去哪儿网的业务越来越复杂,整个技术系统对可靠性、质量的要求越来越高,去哪儿网的工程师们克服了种种困难,确保了最终系统的顺畅运行。例如,去哪儿网的运维团队基于开源项目Graphite+Grafana+Nagios二次开发了监控系统Watcher,用来支撑去哪儿百万级别的基础/业务监控指标。

2016年8月18-19日,由极客邦、InfoQ和听云联合主办的APMCon2016中国应用性能管理大会将在北京举行(现在报名,享8折优惠),聚焦当前最为关键的移动端、Web端和Server端的性能监控和管理技术。

本届大会,我们有幸邀请到了去哪儿网运维开发工程师张悦,前来分享《去哪儿监控系统实践》的内容,讲述她在Watcher开发过程中对监控系统性能的探索经验与实践。

InfoQ:请介绍一下您在Watcher开发过程中主要负责的内容?以及您现在的工作职责!

张悦:我是从2013年毕业就加入去哪儿,一直从事监控方面的改进和开发工作,参与Watcher从选型、设计、开发到维护的全过程,从一开始两个人到现在稳定的三个人的小团队,我们自己做产品+开发+测试。虽不敢说Watcher是一个成熟完备的监控方案,但现在Watcher已经承载了去哪儿网大部分核心业务的监控和告警。

目前我还是主要负责监控相关的开发和运维工作。

InfoQ:去哪儿网在后期使用大众监控工具Cacti遇到了什么瓶颈?在开发新的监控系统初期有哪些长远的规划?

张悦:其实Cacti我们也用了很长一段时间,一开始还是蛮稳定的,而且Cacti有丰富的第三方插件,但是随着指标量的增长,在性能上、扩展性上以及用户的使用效率上出现了一些问题,比如:

  1. 单点:一旦出了故障恢复起来较慢的话,那个期间监控系统是完全不可用的,就如同裸奔...
  2. 无法横向扩展:因为Cacti不是分布式的,指标量一大,单机磁盘有限,就不得不通过压缩RRD文件来换取空间,但是这样历史数据就失真了
  3. 监控可视化较弱
  4. 没有开放API

所以,基于以上我们开始着手新监控系统时,设定的目标是必须要做到:

  1. 高可用
  2. 可横向扩展,易扩容
  3. 加强监控可视化

InfoQ:关于Watcher,它是如何保证数据准确性和监控可视化的?

张悦:首先数据准确性上,上面提到了,之前Cacti因为不是分布式的,单机磁盘有限,所以选择压缩历史数据,一个月以前的数据就失真了。Watcher设定目标时有一点是一定是要可横向扩展的,选型时我们选择了基于Graphite,之所以会选择它,很大一部分原因也是它的设计完全是scale out,每一层都是可扩展的。那么既然可以横向扩展,我们就可以把不压缩的时间区间放的大一些。同时我们也会对收集的指标进行抽样监控,比如断点监控,一定程度上也是保证数据的准确性。

关于可视化,我们希望可以做到直观方便,想怎么看就怎么看。我们选择基于Grafana来做二次开发,定制开发的主要点是集成Qunar的产品树、用户体系和基础监控,在dashboard上提供多维度灵活的数据展示,以及自定义空间来展示核心监控,再配合Grafana强大的可视化,基本达到了最初我们想实现的效果。

InfoQ:Watcher的告警策略是什么样的?

张悦:最基本的是设置大于XXX或小于XXX就报警,除此之外常见的用法还有环比上周大于XXX或小于XXX;可设定检查的频率、多次不OK再报警;不同时间段设置不同的报警规则;支持临时规则;报警联系人支持轮班;报警回调;多种通知方式等。

InfoQ:接下来,去哪儿网对Watcher的关注点将会集中在哪里?有什么计划吗?

张悦:主要在两个方面,一个是成本,一个是人员效率。当量小的时候,我们需要资源也少,但是目前Watcher监控指标已超过800万+, 每分钟集群要支撑1500万指标上报,虽然Watcher是可横向扩展的,可以理解成加机器就可以了,但是这中间还是有很大优化的空间的,所以我们就需要关注成本控制。另外就是下一步计划报警上要继续完善,健全报警机制,通过人员对报警、故障的应答时间,反映出人员、团队的工作效率。

InfoQ:去哪儿网在自动化运维方面用了哪些工具?有什么考量?

张悦:监控相关的工具有:

  • Graphite
  • Grafana
  • Collectd

日志收集工具:

  • ELK
  • Mesos
  • Docker

存储工具:

  • Swift
  • MFS
  • Ceph

配置管理工具:

  • SaltStack
  • Ansible

LB工具:

  • LVS
  • HAproxy
  • Nginx

这里只列举出来一部分我们在用的工具,我参与选型及开发的主要还是监控相关的。不过可以说一下我们对开源软件选择的思路,选择的过程基本是先分析场景,然后看每个软件跟场景的匹配程度以及开源软件的成熟程度,首先找到合适的开源软件,然后把它与我们的运维体系集成起来,比如OpsDB,先解决了大部分问题,才会考虑基于原始版本定制开发。所以我们对自动化工具的选择就是选型加迭代,选择适合当前场景下的运维方式(工具)才是最重要的,并且总是把一个组件的从头开发放到最坏的打算里,Watcher的选型过程也是按照这个思路做的。

InfoQ:之前,有电商网站因人为原因,导致订单被单方面取消,那么去哪儿网在监控这方面有哪些特定的措施?

张悦:订单被取消的可能性有很多,所以监控点也会很多。一般可以对“取消订单”量计数,根据指标波动情况设置阈值(包含同比阈值)来报警。

InfoQ:您即将在8月份的APMCon上发表《去哪儿监控系统实践》演讲,具体会讲哪些内容呢?

张悦:特别荣幸能参加APMCon,作为一个默默无闻的程序媛,竟然能有幸和那么多技术大神一起分享,对自己来说是一次非常好的学习和锻炼的机会。

这个演讲主要是分享去哪儿监控系统Watcher的设计、选型、架构,Watcher的开发过程中遇到的问题以及一些经验。这些经验对如何使用开源项目快速搭建一套监控系统会有一些帮助。

InfoQ:感谢张悦接受我们的专访,期待您即将在APMCon上的演讲。

关于受访嘉宾

张悦,去哪儿网运维开发工程师。于2013年加入去哪儿。一直从事运维开发,参与开发Watcher监控系统,现负责监控相关的开发和运维工作。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

运维如此不受待见 by ChuanTong Huang

百万级别的基础/业务监控? 百万并发还是百万级的服务器价值?
哈哈,当然是百万并发,也当然不止百万价值的服务器。
可惜只有3人,可见运维开发在去哪儿如此不待见,没收入的小组,却在做重要的事情。
不知这3人待遇如何

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

1 讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT