BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Google抛弃MapReduce使用Cloud Dataflow

| 作者 孙镜涛 关注 2 他的粉丝 发布于 2014年6月29日. 估计阅读时间: 4 分钟 | AICon 关注机器学习、计算机视觉、NLP、自动驾驶等20+AI热点技术和最新落地成功案例。

2004年Google发表了一篇非常具有影响力的论文向全世界介绍了MapReduce框架,该框架可以把一个应用程序分解为许多并行计算指令,跨大量的计算节点运行非常巨大的数据集。时至今日,MapReduce已经成为并行分布式计算领域的一个高度流行的基础设施和编程模型,它是Apache Hadoop的基础,被很多知名厂商所使用为其客户提供优质的数据服务。但是从最近在San Francisco召开的Google I/O大会上获悉Google已经抛弃了MapReduce框架转而使用一个新的云分析系统,它的名字叫做Cloud Dataflow。来自于Data Center Knowledge的Yevgeniy Sverdlik 就发表了一篇文章对此做了介绍,下面是编者按照其文章组织的一些内容。

Google之所以抛弃MapReduce的原因很可能是它已经难以处理Google目前所要分析的数据量了。Mountain View公司负责技术基础设施的高级副总裁Urs Hölzle说:一旦数据量达到了PB级MapReduce就会变得难以处理。在San Francisco召开的Google I/O大会上Hölzle做了一个主题演讲,他提到他们从几年之前就已经不再使用MapReduce了。

对于Cloud Dataflow Google将会把它作为云平台上的一个服务提供给开发者,这些服务并没有MapReduce那样的扩展限制。Hölzle说“Cloud Dataflow是十多年分析经验的结晶,它将比市面上任何其他的系统运行的更快,扩展性也更好”。

“Cloud Dataflow是一个完全托管的服务,它能够自动优化、部署、管理和扩展。它能够让开发者很容易地使用统一的编程为批处理和流服务创建复杂的管道”Hölzle表示。

谷歌想到的这些所有的特性处理都无法在MapReduce上完成:它很难迅速地获取数据,它需要很多不同的技术,批处理和流无关,同时还需要部署并运维MapReduce集群。

Hölzle还在他的主题演讲上展示了谷歌云平台上的一些其他的新服务:

  • Cloud Save是一个API,它使应用程序能够将单个用户的数据保存在云端或其他地方,同时使用它不需要任何服务器端的编码。 Google PaaS(提供App Engine)用户和IaaS(提供Compute Engine)用户都可以利用这个特性构建App。
  • Cloud Debugging 让开发者能够更容易地筛选出部署在云端多台服务器上的软件代码中的bug。
  • Cloud Tracing 提供了不同组之间的延迟统计(例如数据库服务调用的延迟)和分析报告。
  • Cloud Monitoring 是一款智能监控系统,它是与Stackdriver(谷歌5月份收购的一个云监控初创公司)集成而产生的结果。该系统监控云基础设施资源,例如磁盘和虚拟机,还有Google服务的服务级别以及十几个非谷歌提供的开源软件包。

感谢景琦对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ)或者腾讯微博(@InfoQ)关注我们,并与我们的编辑和其他读者朋友交流。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

MapReduce限制? by Guo Gary

MapReduce有哪样的扩展限制?Dataflow又针对性的做了哪些事情?

也只是个别部门的个别产品不用了 by 孙 奇辉

不能代表所有的既有产品不用了!你想想都不用MR,换用新的,可靠、成本等划得来吗?

好在哪,能更详细点不 by 康 军卫

也没有说明 Cloud Dataflow 比 MR 好在哪?

Google发展 by feng liu

现在Google发展到什么样的程度啦,我们使用人家的技术的时候,人家早就有新的技术了,Google太强大了

技术变革 by sy manysy

国内的公司不知道比google落后了多少年,软件业需要google这样引领技术潮流和变革的公司,同时希望国内的公司加把劲,不要落后太远了

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

5 讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT