BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Bloomberg监控系统的标准化和扩展

| 作者 Hrishikesh Barua 关注 14 他的粉丝 ,译者 盖磊 关注 2 他的粉丝 发布于 2018年7月23日. 估计阅读时间: 4 分钟 | BCCon2018全球区块链生态技术大会,将区块链技术的创新和早期落地案例带回您的企业

Bloomberg开发团队采纳SRE实践后,一个显著成果体现为监控系统的改进。该系统的后台由团队部署的Metrictank时序数据库提供支持。

Bloomberg的基础设施横跨两个自运营数据中心中的近200个计算节点,服务于约32.5万名客户,以及一个近5000人的开发团队。长期以来,开发人员负责对自己构建和部署的产品进行生产监控。这种监控往往是亡羊补牢之举,进而导致缺失标准化。监控系统中存在有多种数据采集器,它们会对同一度量做重复的测量,对系统的整体也缺乏一个完整视图。据Bloomberg遥测负责人Stig Sorensen介绍,运维负责“从企业商业站点的细枝末节以及各种市场数据来源,到企业的要产品,即Bloomberg专业终端(Professional Terminal)。该终端是世界范围内成千上万关键影响人士所仰仗的工具”。各种不同的技术栈构成了系统的复杂性。

Sorensen自2016年开始在Bloomberg负责SRE(站点可靠性工程,Site Reliability Engineering)的实施。他的团队推行SRE原则和实践,目标是为整个企业构建监控和报警服务。团队首先推出了一种支持标签的自研StatsD代理。该代理关注的是如何尽快从中心系统获取度量。一旦完成了度量采集,系统基于Kafka集群完成大量的验证、聚合、规则和持久化工作。这一系统很快就面对着可扩展性的问题。Bloomberg软件开发人员Sean Hanson在一次演讲中指出:

系统运行两年后,每秒需处理250万个数据点、1亿个时间序列。其中一些高基数度量的值可达50万。我们的初始解决方案的确具有很好的可扩展性,能够扩展到每秒处理2000万个数据点。但在系统达到这样处理能力时,事实上我们无法从中做任何查询,并且系统在处理高基数度量时表现依然很差。高基数度量十分常见的情况。

团队构建的新系统同样面对着一系列新的需求,包括推导度量计算的函数、可配置的保留期、元数据的查询以及可扩展性。Metrictank是Cassandra推出的一种多租户时序数据库。它支持Graphite监控系统,适合团队的大部分需求。根据Facebook发表的Gorilla论文,Metrictank的性能可比Facebook前期采用的高基数数据系统高出数个数量级。这为跨组织的度量分析铺平了道路。Bloomberg团队对其中一些资源敏感区域做了优化,并贡献到Metritank代码中。其它一些组织也已使用Cassandra作为后端,实现对Graphite监控系统的扩展。

Bloomberg团队不仅更新了监控系统,而且为实现工作方式标准化而采纳了SRE。Sorensen详细解释道:

当前,我们事实上不再具有一个集中的SRE团队,实现为SRE团队向应用团队看齐的方式。 SRE团队来自于应用团队和核心基础设施团队。无论是运维人员还是系统管理员,都采用了这种方式做编程和人员变动。我们也会让应用工程师对系统和可用性提出更积极的看法,构建不同类型的软件,因为我们将SRE视为软件工程师正开展的事情。

随着对标准化监控系统的采纳,随之而来的一个需求是对如何追踪进度。团队正致力于其中的一些工作。Sorensen指出,由于“测定可用性不是一件非黑即白的事情。可用性并非用户在某个网站上经历了多少次失败,这是因为对于市场玩家而言,而是只要实时市场数据稍有延迟,即便是一毫秒或是几百毫秒,结果也可能会大相径庭。”

查看英文原文: Bloomberg’s Standardization and Scaling of Its Monitoring Systems

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT