BT

Amazon EC2推出基于Hadoop的MapReduce

| 作者 Scott Delap ,译者 黄璜 发布于 2009年4月7日. 估计阅读时间: 不到一分钟 | 道AI风控、Serverless架构、EB级存储引擎,尽在ArchSummit!

对于如何将流行的Apache HadoopMapReduce框架运行于AmazonEC2之上,老早之前就已经有教程了。今天Amazon通过Amazon Elastic MapReduce对其提供了官方支持,不断改善自身。从其产品页面可看到:

Amazon Elastic MapReduce自动地在Amazon EC2实例上驱动一个MapReduce框架的Hadoop实现,将任务流中的数据分解为更小的块以用于并行处理(“map”函数),并最终将处理后的数据重新组合在一起成为最后结果(“reduce”函数)。Amazon S3作为被分析的数据源,并作为最终结果输出的目的地。

Amazon Elastic MapReduce的价格是在现有EC2的收费之上的15%比率。其FAQ上有一个关于价格和使用的完整列表。AWS的官方博客也提供了报道:

...Elastic MapReduce的处理是围绕着任务流这一概念为中心来开展的。每个任务流包含一步或者多步。第一步从Amazon S3输入一定的数据,再将其分配给指定数量的运行Hadoop的EC2实例(如果需要的话,驱动这一实例),完成所有的工作,再将结果写回S3。每个步骤必须参考应用特定的“mapper”和/或“reducer”代码(Java JARS或是通过流模型使用的脚本代码)。我们同时还包含进了集合包,对一系列诸如和,最小,最大,历史图以及计数等等的公共操作提供了内置的支持。在你开始写代码之前就已经有很多事情搞定了!

我们提供了三种不同的访问Elaastc MapReduce的途径。你可以通过Elastic MapReduce API获取完全的控制,你也可以使用Elastic MapRedue命令行工具,或者在AWS管理控制台的Elastic MapReduce标签页通过点击进行操作!让我们分别来看每一个...

ZDNet的Dana Gardner 推测 这暗示了Amazone将在商业智能市场推出新的产品。

查看英文原文:Amazon Rolls Out Hadoop Based MapReduce to EC2

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT