BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Netflix的云中数据仓库架构和Hadoop PaaS——Genie

| 作者 郑柯 关注 3 他的粉丝 发布于 2013年2月5日. 估计阅读时间: 8 分钟 | 如何结合区块链技术,帮助企业降本增效?让我们深度了解几个成功的案例。

Netflix基于Hadoop的数据仓库达到Petabyte量级,而且增长迅速。他们大数据处理架构十分独特,能让他们构建一个可以在云中无限扩容的数据仓库,而且是在数据和计算能力两方面同时做到无限扩容。前不久,他们在自己的技术博客上发布了一篇文章,其中谈到了Netflix基于云的数据仓库,以及它与传统基于数据中心的Hadoop基础设施的不同之处,此外还介绍了如何利用云的弹性构建动态可扩展的系统。文章重点对Genie项目做了说明,该项目是Netflix内部的Hadoop PaaS,为作业执行和资源管理提供REST-ful API。

在传统的、基于数据中心的Hadoop数据仓库中,数据保存在HDFS中。HDFS可以运行在商用硬件之上,提供对大数据集的容错和高吞吐访问。在云中,最典型的方式就是跟随这个模型,将存在HDFS上的数据放在基于云的Hadoop集群上。但是,Netflix没有这么做,他们的选择是:

我们将所有的数据存在Amazon S3上,这是我们架构的核心原则。

我们使用S3作为基于云的数据仓库的真正数据来源。任何值得存留的数据都放在S3上。这包括每小时产生的几十亿个流事件,它们来自支持Netflix的电视、笔记本电脑、移动设备,被我们的日志数据管道(Ursula)抓取,还有由Cassandra提供的维度数据,来自我们的Aegisthus管道。

之所以选择S3,文中给出4个原因:

S3保证其中存储的对象在一年期内的耐用性(durability)是99.999999999%,可用性(availability)是99.99%,并可同时承受两个机房的并行数据丢失。

其次,S3提供存储桶版本控制,我们使用该功能来防止数据出现无意丢失。举个例子,如果开发人员不小心误删除某些数据,我们可以轻易恢复。

第三,S3具备弹性,而提供事实上“无限”的存储容量。我们不需要事先准备任何存储资源,就让数据仓库做到了有机增长,从几百个T到P级。

最后,用S3作为数据仓库,我们可以运行多个高度动态化集群,而且能适应失败和负载。

当然,也有一些问题:

S3的数据读取和写入都比HDFS慢。不过,很多查询和流程都是多步骤的MapReduce作业,因此第一个步骤中的mapper从S3中同时读取输入数据,最后一个步骤中的reducer将数据写回S3。HDFS和本地存储用来完成所有中间的转换和临时数据,这就降低了性能开销。

Netflix使用Amazon的Elastic MapReduce(EMR)Hadoop 版本。他们会使用多个Hadoop集群处理不同负载,全都访问同样的数据。一个超过500个节点的“查询”集群,供工程师、数据科学家、分析人员使用,完成随机查询。还有一个与“查询”集群大小相似的“生产”(或称为“SLA”)集群,运行由SLA驱动的ETL(数据抽取、转换、加载)作业。他们还有其他一些“研发”集群,根据需要启动。

如果我们使用HDFS作为数据来源,那么就要把数据复制到所有的集群中。使用S3,这就不是问题了,所有的集群可以马上访问同一个完整的数据集。

亚马逊通过EMR提供Hadoop IaaS,EMR有API可以准备和运行Hadoop集群。但Netflix实现了自己的Hadoop PaaS,名为“Genie”,提供更高层面的抽象。开发人员可以使用RESTful的API来提交单个Hadoop、Hive或是Pig作业,而不需要准备新的Hadoop集群,或是安装任何Hadoop、Hive或Pig客户端。而且,这让系统管理员可以管理和抽象出云中不同Hadoop后端资源的配置。

那为什么还要开发Genie呢?

我们的ETL过程是松耦合的,组合使用Hadoop和非Hadoop工具,跨越云和我们的数据中心。举个例子:我们需要在基于云的Hadoop数据仓库中使用Pig和Hive执行每日总结,并将结果加载到在数据中心的关系数据仓库中。这是很常用的大数据架构,用小得多的关系数据仓库来对上基于Hadoop的系统。前者提供实时性更强的互动查询和报表,而且与传统的BI工具整合更好。目前,我们使用Teradata作为关系数据仓库。不过,我们也在研究Amazon的Redshift新产品。

在数据中心中,我们使用企业级调度应用UC4,用其定义数据中心和云之间不同作业的彼此依赖关系,将它们作为“ 流程流(process flow)”运行。因此,我们需要一种机制,在不安装整个Hadoop软件栈的前提下,做到从任何客户端启动Hadoop、Hive和Pig作业。而且,由于我们每小时运行数百个Hadoop作业,需要该系统来水平扩展,主要原因在于:随着将更多ETL和处理工作放在云中的Hadoop上,负载会不断增加。最后,由于云中的集群总有可能发生变化,而且有多个Hadoop集群可以运行Hadoop作业,我们需要从客户端中抽取出后端集群的具体细节。

之所以不用一些现有的工具,是因为:

开源社区中现在没有合适的工具,能满足我们的需求:要有API可以执行作业、抽象后端集群、有能力提交作业到多个集群、足够的可扩展性(水平或是其他方式)等等。

Genie到底是什么呢?

Genie是一系列REST-ful服务,用来管理Hadoop生态系统中的作业和资源。其中有两个关键服务。

  • 执行服务(Execution Service):提交和管理Hadoop、Hive和Pig作业。客户端通过执行服务API来与Genie交互,发送带有参数的JSON或是XML消息启动作业。如果一个作业提交成功,Genie会返回一个作业ID,可用它获取作业状态和输出URL。
  • 配置服务(Configuration Service):保持可用Hadoop资源的资源库,包括需要链接和在这些资源上执行作业的元数据。配置服务跟踪所有目前运行的集群,还有它们支持的调度类型。
文中还简单介绍了如何使用Genie完成动态资源管理。

在Netflix,不同工程师团队在AWS的自动扩展组(auto-scaling groups,简称ASG)内的预留实例上运行自己的服务,它们会根据负载扩展或收缩。很多ETL作业在午夜执行,这个时候,很多ASG都已经变小了。因此,我们使用这些过剩的预留实例来启动“奖励”集群,补充其他生产集群。我们会用配置服务注册这些实例,Genie客户端(ETL作业)会使用执行服务API访问这些新集群。当工程团队需要他们的实例时,“奖励”集群会中止并取消注册,而且无法通过Genie客户端访问。

不像传统的Hadoop集群,我们不需要做滚动升级。如果需要升级一个生产(SLA)集群,一个方法是使用升级后的软件栈来启动一个新的生产集群,然后停止将流量路由到旧集群上,要实现这个目的,只需要设置其状态为“Out of Servcie”。另一个方法,是将运行中的集群状态设置为“Out of Service”,然后执行升级,并临时将另一个运行中的集群设置为SLA集群。

目前,Genie项目还没有开源,让我们期待Netflix将其放在自己Github页面上的那一天!

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT