BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

架构Twitter

| 作者 Steven Robbins 关注 0 他的粉丝 ,译者 王丽娟 关注 0 他的粉丝 发布于 2008年6月23日. 估计阅读时间: 3 分钟 | 如何结合区块链技术,帮助企业降本增效?让我们深度了解几个成功的案例。
风行的社交应用Twitter,其底层架构最近已成为多次讨论的焦点。由于团队试图解决一些问题,Twitter已经有几次停止运行的情况,并关闭了几个常用的功能。从Twitter的前进脚步之中,我们能学到些什么呢?

包括Om MalikDare Obasanjo在内的几个人猜测是Twitter的底层架构导致了这些问题的出现。最近,Robert Scoble就应用情况和公司前景采访了Twitter的Evan Williams和Biz Stone。采访的视频可在qik上找到。

在采访中,Williams和Stone回答了关于Twitter数据架构的大问题:Twitter是否使用单实例存储(SIS)类型的方法来处理用户消息?在大约13分钟的采访记录中,Williams谈到了消息存储和用户时间线检索:
它不是这么处理的(为用户的每个跟随者都产生一个消息副本),但实际上这可能更有效率。现在消息存储到数据库中,当人们想获取他们的时间线时,我们从数据 库中构造时间线,然后缓存到内存中,当然不是每次都缓存。但由于内容写入太频繁,我们往往也要频繁地访问数据库,而这只是为了更新缓存。所以缓存中有很多 消息副本,而在磁盘上却只有一条消息。我们以后的架构可能更多的是以多次写入的方式,因为读取在这种方式下将快更多。
从SIS消息架构迁移的可能性为利用像数据Sharding这样的数据技术开启了一扇大门,数据Sharding技术已经在许多高容量网站和应用中广受欢迎。Randy Shoup谈到了eBay通过部分利用Sharding来架构系统的方式,以此获得高可伸缩性:
数据库层次的问题比较有挑战性,原因是数据天生就是有状态的。我们会按照主要的访问路径对数据做水平分割(或称为“Sharding”)。例如用户数据目 前被分割到20台主机上,每台主机存放1/20的用户。随着用户数量的增长,以及每个用户的数据量增长,我们会增加更多的主机,将用户分散到更多的机器上 去。商品数据、购买数据、帐户数据等等也都用同样的方式处理。用例不同,我们分割数据的方案也不同。
Bogdan Nicolau写过一篇为数据库Sharding基础的概述。在该系列中,Bogdan讨论了如何决定在何处、以及如何为应用分割数据。决定时的主要一点是:
我试图表达的是,无论你选择什么逻辑来切分表,总是要记住你不想有任何join、order by、或limit语句,这些语句会需要不止一个的表Shards。
Bogdan继续谈论了应用端对Shards的利用。Bogdan提供了几个代码例子来解释一个典型问题,同时还解释了背后的原理:
正如你所看到的,因为要生成映射表,负担主要落在了写入一方。读取时就不需要关心涉及的数据切分算法了。
随着众人参与关于如何扩展Web 2.0的讨论,Twitter也许将继续向一个更稳定、可伸缩的架构迈进。

InfoQ有许多性能和可伸缩性相关的资源,在这里查看这些资源
查看英文原文:Architecting Twitter

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT