BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

赵钟秋谈又拍网架构中的消息/任务系统

| 作者 黄璜 关注 0 他的粉丝 发布于 2012年1月1日. 估计阅读时间: 5 分钟 | 如何结合区块链技术,帮助企业降本增效?让我们深度了解几个成功的案例。

赵钟秋,又拍网核心开发人员,关注多种计算机语言、Web技术和开源技术。他在QCon杭州2011大会的开放平台专题做了名为《又拍网架构中的消息/任务系统》的讲座,并和参会者做了热烈的讨论。会后,InfoQ中文站对赵钟秋做了采访。

InfoQ:又拍的图片云计算平台与一般的CDN有什么区别与优势?

又拍图片云计算平台是Amazon S3 + CloudFront 模式,因为源数据机房包含在整个CDN系统中(一般CDN服务源服务器往往在客户各自的机房),所以网络优化更彻底,达到整个CDN最佳效果。并且面对国内各省市之间复杂的网络结构,可以不断调整优化最佳链路(一般CDN服务,回源链路一旦确定,很少会再去为客户做变动)。另外,又拍在提供文件存储加速外,利用公司本身图片方面的技术积累,还提供一些特色功能:比如针对图片文件类型生成缩略图的功能,在线管理功能,防盗链功能等等。

InfoQ:又拍从什么时候开始使用Erlang,目前开发团队有多大规模,除了消息系统,Erlang还用在什么地方?给又拍带来了什么优势?

又拍从2010年初开始使用Erlang,我们并没有专门的Erlang开发团队(需要的时候由团队中1-2个人负责Erlang相关开发)。除了消息系统,我们的文件存储系统也是使用Erlang开发。我们喜欢用最合适、最方便的工具解决问题,我们认为目前在分布式系统的开发中,Erlang就是这样的工具。Erlang的引入也的确为又拍这样的小团队快速地开发高效的、稳固的分布式系统带来了可能性。

InfoQ:选用RabbitMQ的时候,与其它的消息系统比如ZMQ等等,怎么确定造型的呢,是否有实际的Benchmark例子?

选择RabbitMQ是2009年的事了,当时网站架构在做比较大的变迁。又拍原来的架构是基于Java的,那次的迁移是打算减轻对Java体系的依赖,而开源消息队列中比较有名的Apache ActiveMQ是基于Java的实现,显得太厚重,所以被排除在我们的考虑之外。另外,那个时候ZMQ还没推出。没有具体了解过ZMQ,以目前地认识来看,我认为它们之间也存在很大的差异。例如RabbitMQ比较完整的实现了AMQP协议,而ZMQ则提供了简单的接口,相比之下,前者显然比后者偏重。如果是比较性能,ZMQ会胜出是无庸置疑。后面我们会对ZMQ作进一步了解,因为它可能能和YPTask有一个很好的结合。目前我们也没有再使用RabbitMQ。

InfoQ: YPTask是在RabbitMQ上的包装吗?有哪些自己独特的地方,是否回馈开源社区?

YPTask和RabbitMQ没有任何关系,实际上YPTask并不是消息系统,确切地讲应该是一个基于消息的远程方法调用系统。YPTask是基于Erlang的OTP实现的,本身就是一个很健壮的分布式系统。它具备管理、配置外部工作进程的功能,而简化了消息队列地实现。外部工作进程不是通过网络接口与YPTask通信的,而是通过标准输入/输出。所以理论上后端的工作进程可以用任何语言实现,只要它支持Erlang的序列化方式BERT。事实上,BERT的其它语言实现已经非常丰富。更重要的是,YPTask作为一个中间层次的系统,把大多数的配置和管理工作统一起来,极大地减少了业务代码需要处理的事,使得业务逻辑的开发和管理都变得很简单。我们会将这个工具进行进一步的调整和完善,并在合适的时候将其开源。

InfoQ::Erlang与Python、PHP的通信是怎么做的呢,RPC是使用Thrift还是其它的例子?

目前Erlang与工作进程(主要由Python开发)是通过Erlang的内置序列化方式BERT进行通信的,与PHP则是通过JSON-RPC通信的。考虑到我们系统的迁移,目前只实现了这两个对我们来说最合适的通信方式。不过我们打算加入更多的外部通信协议,比如msgpack,protobuf等等。

InfoQ:之前知乎使用又拍时曾出现一些故障,现在在安全性可靠性上,主要有哪些保障?

知乎在使用过程中出现的故障是由于他们对API的使用不当造成的。他们将需要认证的API请求放到客户端发送,导致向客户端泄漏了API的认证信息。从又拍的角度看,这也反映出之前的API功能还不够丰富,调用不够方便等问题。我们也会在这个方面投入更多的精力。

InfoQ:又拍的消息系统的规模有多大,下一步会怎么发展呢?

目前又拍的消息系统规模不算太大,每天由5个节点处理大约500万条消息。目前这些节点的压力并不大。下一步的发展还要看网站的发展情况来确定。

InfoQ:除了消息系统外,整个又拍架构中还有哪些优秀的地方想和读者分享?(又拍曾分享过分库设计)

又拍也是较早在架构中引入Redis的站点,可能的话可以分享一下相关经验。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

消息系统 by 张 善友

我们公司内的消息系统规模都达到了每天50万,使用SQL Server Broker。

Re: 消息系统 by 王 文莹

我们公司内的消息系统规模都达到了每天50万,使用SQL Server Broker。

数据太少,每秒50w还差不多

请问有当天的PPT可供下载么? by yong leo

请问有当天的PPT可供下载么?
请问有当天的PPT可供下载么?
请问有当天的PPT可供下载么?
请问有当天的PPT可供下载么?
请问有当天的PPT可供下载么?

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

3 讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT