BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Whitepages的架构变迁:从Ruby到响应性更好的Scala和Akka

| 作者 臧秀涛 关注 2 他的粉丝 发布于 2014年8月27日. 估计阅读时间: 5 分钟 | 都知道硅谷人工智能做的好,你知道 硅谷的运维技术 也值得参考吗?QCon上海带你探索其中的奥义

Whitepages是位于美国的一家公司,主要负责提供个人和企业的联系信息,供用户搜索。其业务每个月要服务5000万独立用户,每天要完成3500万次搜索。其移动产品每个月也有超过1800万的活跃用户。

随着业务的增长,Whitepages的架构出现了瓶颈。经过评估,开发人员将出现瓶颈及代价较高的部分从原来的Ruby语言实现迁移到了更为现代、响应性更好的Scala语言和Akka框架。Whitepages的开发人员John Nestor和Dragos Manolescu分享了他们的经验。

在介绍了公司要应对的业务规模之后,他们提到了Ruby遗留系统存在的问题:

  • 较高的延迟
  • 较高的资源消耗,包括内存和处理器两个方面
  • 对于上游服务的降级支持较差
    • 并发能力有限
    • 当阻塞在较慢的上游服务上时,工作线程会饥饿
    • 连接管理和恢复能力不佳

之所以选择Scala,是因为这门语言具有如下优点:

  • 优雅地结合了函数式编程范型和面向对象编程范型
  • 静态类型系统
    • 类型推导可以避免编写大量的Java样板代码
    • 编译器可以捕获很多错误
  • 运行在JVM上
    • 速度快
    • 几乎可以无缝地与JVM库互操作
    • 相当成熟的工具支持
  • 基于Actor的并发框架——Akka

Whitepages的响应式服务的特点:

  • 面向服务的架构:通信采用Thrift或HTTP上的Json
  • 延迟和吞吐量非常重要
  • 对日志和监控有很高的要求
  • 敏捷的开发、测试、构建和部署流程

在使用Scala和Akka迁移了服务之后,改进非常明显。

Service

p50 ms

p99 ms

throught RPS/core

DirSvc - Scala

25

300

80

DirSvc - Ruby

140

1200

7

他们先从1个单一的后台服务入手,现在已经完成了4个服务的迁移;还有6个服务尚在开发之中。Scala开发人员也从最初的6个增加到20个。未来他们还将迁移更多服务。

他们总结的成功经验主要有以下几点:

  • Scala简洁的语法提高了开发效率。
  • 异步代码提高了性能。
  • 不可变集合和函数式编程减少了bug。
  • 强类型检查也有助于减少bug,并使代码的可维护性更好(不过元编程变困难了)。
  • 并发能力提高。
  • Spray具有极好的性能,而且提供了一个异步API。
  • SBT能够根据需求轻松定制,尽管学习曲线有些陡峭。
  • IntelliJ IDEA对Scala的支持非常好。
  • Typesafe的开发者支持合约非常不错,Typesafe反馈非常快,对复杂的问题也可以给出很好的答案。

当然,迁移过程中也遇到了不少问题,比如:

  • 差劲的文档,SBT就是个典型,很多时候还不得不阅读Scala和Akka库的源代码。
  • API不稳定,升级步子太大。
  • 缺乏好用的并发构件分析工具:尝试过Typesafe Console,但是一直没有完整地跑起来,最后放弃;虽然有些新工具,但没有时间一一评测。
  • 生态系统不如Java,缺乏一些所需的组件;有时候选择太多,比如Json库就有10多款;GitHub上存在大量的Scala项目,但质量参差不齐。
  • 难以调试,尤其是异步代码和Actor。
  • 语言和库的问题:类型擦除是一个主要缺陷;Actor缺乏类型检查;某些Scala代码看上去简单直观,但是要了解其背后的机制也非常困难。

不过整体而言还是利大于弊,Scala/Akka非常适合构建响应式系统。

最后,他们讲到了开发人员这个关键因素。有经验的Scala开发人员还不够多。所以他们一方面招聘Scala开发人员,一方面培训现有的Ruby开发人员,促其转型。

更多细节,可以观看讲座视频下载讲稿

Whitepages并不是第一家尝试从Ruby向其他开发语言迁移的公司。Twitter早在2011年就开始从Ruby向Scala和Java迁移Iron.io从Ruby迁移到Go,服务器从30台减少到2台。LinkedIn从Rails迁移到Node,服务器减少了27台,速度提升高达20倍。

项目创建初期,开发效率往往是首先要考虑的,以保证产品尽快推向市场。而随着业务规模的扩大,性能、可伸缩性方面的需求又会凸现出来,上述几家公司都选择了切换编程语言。亲爱的读者,您对此有何见解呢?欢迎和我们分享。


感谢郭蕾对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ)或者腾讯微博(@InfoQ)关注我们,并与我们的编辑和其他读者朋友交流。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

看好NODE.JS by Kaibo Hao

WEB APP还是看好NODE.JS多一些

Re: 看好NODE.JS by 霍 泰稳

各有优点吧,互相比较才能有所发展啊。

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

2 讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT