BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Twitter的实时通知架构

| 作者 Andrew Morgan 关注 0 他的粉丝 ,译者 薛命灯 关注 12 他的粉丝 发布于 2017年6月27日. 估计阅读时间: 3 分钟 | QCon北京2018全面起航:开启与Netflix、微软、ThoughtWorks等公司的技术创新之路!

亲爱的读者:我们最近添加了一些个人消息定制功能,您只需选择感兴趣的技术主题,即可获取重要资讯的邮件和网页通知

Twitter工程经理Sarrabh Pathak在伦敦QCon 2017大会上介绍了Twitter网站的通知系统架构。他主要介绍了Twitter所面临的独特挑战,比如社交网络的双峰(bimodal)性、如何应付尖刺流量以及如何实现实时的通知机制。

Pathak解释说,与一般的社交网络不同,Twitter的用户数据具有不对称性。有些用户有数百万关注者,而有些则只有不到百人。这导致了通知具有双峰性,也给实现实时通知带来了挑战。例如,名人的推文比普通人的推文产生更大的通知负载。

Pathak说,不同类型的用户以及严格的性能需求给架构带来了如下挑战:

  • 延迟:人们要尽可能快地收到通知,毕竟Twitter需要实时地通知用户当下正在发生的事情。
  • 展开(fanout):一个拥有数百万关注者的用户,他的一个推文会触发数百万个通知,系统必须能够处理这种大型的尖刺流量。
  • 不均衡的调用:有些内部调用,比如访问缓存,只需要几毫秒。而有些外部调用,比如访问Google,可能需要半秒多钟。在进行伸缩时必须考虑到这些情况。
  • 多数据中心:Twitter必须尽可能地具备弹性,即使发生了故障,也要保证用户仍然能够收到通知。

首先,通知分为推送和拉取两种模式。人们在访问Twitter时看到的通知信息流使用的是拉取模式,而短信和邮件则使用推送模式。

Pathak说,对于拉取模式,通知一般是从缓存里获取的,因为信息流的生成是很耗费资源的。Twitter使用了Manhatten,Twitter的实时分布式后端存储,也是Redis的一个分支。通过使用缓存,最小化了延迟,提升了用户体验。与此同时,通知信息流通过异步的方式被复制到多个数据中心,目的是在发生故障时,用户仍然能够看到相同的信息流。

为了应对延迟和尖刺流量问题,Twitter使用了推送通知模式,不仅进行横向伸缩,同时还使用了临时缓存。这解决了同一个用户有数百万个通知事件的问题。

为了解决不均衡调用问题,Twitter使用了优先级队列来防止调用阻塞;名人的推文不会对其他用户的登录造成阻塞。另外,不同类型的调用被分成组,这意味着因外部依赖发生宕机造成的影响是相互隔离的。

最后,Pathak对该架构进行了总结:

  • 尽可能专注在异步操作上,因为它比同步操作更容易伸缩。
  • 在权衡读取时间和写入时间时,考虑只写入不太可能发生过期的数据,比如ID。
  • 确保应用能够支持多数据中心部署。

整个访谈可以在线观看,里面还有一个来自Twitter工程师Gary Lam关于个人定制化通知的访谈。

查看英文原文: Real-Time Notifications at Twitter

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT