BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Docker将会让Hadoop部署更加简单快捷

| 作者 张天雷 关注 4 他的粉丝 发布于 2015年6月25日. 估计阅读时间: 6 分钟 | GMTC大前端的下一站,PWA、Web框架、Node等最新最热的大前端话题邀你一起共同探讨。

近日,第八届全球Hadoop技术峰会在美国加州硅谷召开。作为全球规模最大的Hadoop盛会,本次会议吸引了大量的数据服务技术提供商和使用数据产品的企业的参加。在会议上,多家企业进行了Hadoop技术相关的报告。其中,很多企业谈到了开源容器引擎Docker对Hadoop的影响。接下来,本文就针对这些企业的报告及相关讨论内容进行摘要介绍。

BlueData公司产品部的副总裁Anant Chintamaneni给出了“利用Apache Ambari进行自助配置和Hadoop管理”的报告。该公司由VMware公司的资深元老Kumar Sreekant 和 Tom Phelan在2012年创建。作为一家大数据框架软件的供应商,BlueData之前推出了EPIC软件平台。EPIC平台可以在任何硬件、任何服务器和任何存储环境下工作,简化大数据框架的部署工作。其目标在于实现Hadoop在任何私有数据中心中的直接部署。这样,用户利用EPIC就可以解决I/O性能瓶颈问题,并实现在虚拟化框架中多用户和多租户的便捷管理。在EPIC平台的免费版EPIC Lite中,BlueData加入了对Docker容器的支持。它允许用户在笔记本电脑的Docker容器中启动虚拟Hadoop或者Spark集群。

Anant在报告中指出,EPIC选择支持Docker的主要原因在于,这种做法可以在保持容器简单性以及系统性能的同时,享受大数据应用程序虚拟化所带来的好处。BlueData公司试图让开发人员和数据专家可以非常容易的创建所需要的集群,从而获得类似于Cloudera或Hortonworks的功能。只要用户通过笔记本电脑访问Hadoop,享受了这其中所带来的好处,自然会申请使用支持多用户和多租户的企业版。MapR公司的产品管理部副总裁Tomer Shiran表示,随着越来越多的人喜欢Docker容器,像BlueData这样的公司把Docker加入到所支持的hypervisor中也越来越有意义。几天前,BlueData公司刚刚公布了EPIC 的夏季发布版——1.5版本。该版本集成了Apache Ambari和Cloudera Manager,能够支持新版本的Hadoop和Spark。

此外,作为一家Hadoop初创公司,Hortonworks共进行了十几场报告。其中,该公司软件工程师Sidharta Seethana与Altiscale公司的高级软件工程师Abin Shahab联合展示了一些把Docker融入到Apache Hadoop YARN的方案。作为一家“Hadoop即服务”(Hadoop-as-a-Service)方案的提供商,Altiscale之前已经决定在Docker容器中运行Hadoop。尽管这种做法需要在没有YARN支持的情况下直接管理Docker容器,该公司却发现这种方法具有可重复性和可自动化这两种优点。

Hortonworks则采用了两种方法来利用Docker容器运行Hadoop。第一种方法是用Docker来直接运行Hadoop。目前,这种做法需要用到Cloudbreak和Hortonworks Data Platform(HDP)。通过使用Docker镜像,它可在微软Azure、亚马逊AWS、谷歌云平台等任何主流云平台上启动HDP。第二种方法是通过YARN来使用Docker容器进行应用部署。HDP2.2版本的技术预览中已经提到了该特性。

Hortonworks的产品管理部副总裁Tim Hall表示,Docker提供了一种完美隔离和打包Hadoop相关的应用程序的方法。该公司也在观察Slider框架和Docker如何能够一起合作来简化此类的部署工作。目前,Hortonworks的一个客户已经在考虑他们自己的数据平台利用HDP支持Docker的方法。他们利用Cloudbreak在云中的Docker容器中部署Hadoop,并计划把他们自己的数据应用程序制作成Docker镜像以便在YARN上运行。此外,很多用户也因为这种方式的敏捷性和兼容性,利用其进行未知环境的部署。

Hall指出,与传统的在虚拟机或者OpenStack中使用Hadoop相比较,在Docker中运行Hadoop的好处包括了安装迅速、开发和产品采用同样的流程和镜像、单节点和多节点相同的流程等。而在YARN中运行Docker化的应用程序的好处包括更好的软件隔离性、开发和产品采用同样的流程和镜像以及应用程序更好的分发和版本控制。此外,Hall透露,大数据应用的开发人员越来越倾向于利用Docker来运行其应用程序。而且,直接在裸机上运行Docker的趋势也越来越明显。


感谢郭蕾对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(微信号:InfoQChina)关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入InfoQ读者交流群InfoQ好读者)。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT