BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

MapReduce发力:发布支持Eclipse和Amazon EC2平台的工具插件

| 作者 Scott Delap 关注 0 他的粉丝 ,译者 Jason lai 关注 0 他的粉丝 发布于 2007年3月30日. 估计阅读时间: 1 分钟 | 如何结合区块链技术,帮助企业降本增效?让我们深度了解几个成功的案例。
IBM Alphaworks网站发布了一个新的Eclipse插件,使用开源Java MapReduce框架Hadoop来简化应用程序的开发。Hadoop框架最初的产生是为了支持Nutch项目。Hadoop包含了一个分布式文件系统以及一个MapReduce实现。MapReduce是被Google广泛采用的编程结构,用于在集群内部进行海量数据集的并行处理。今年在Hadoop上所做的集成工作使得在Amazon的EC2平台上运行Hadoop MapReduce应用使用Amazon的S3平台进行存储等更为容易。Amazon Web服务博客表示:“由于EC2实体和存储于S3上的数据之间的带宽尚未度量或发布,这是处理大量数据的一种很节约成本的方式”。

IBM MapReduce插件包含以下功能:

  • 允许Java™项目以JAR(Java Archive)文件形式打包并部署到(本地和远程的)Hadoop服务器上
  • 提供辅助开发过程的备忘单(Cheat Sheets)
  • 增加了一个独立的Eclipse透视图(Perspective),以及用于显示Hadoop服务器、Hadoop分布式文件系统(DFS)和当前任务状态的视图
  • 提供了一些向导,使基于MapReduce框架的类的开发变得更加容易

此外,它还包括了改进的备忘单,并且完全兼容OS X。插件使用SCP和SSH与Hadoop服务器进行交互,通过HTTP协议获取工作状态。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

分布式java实现 by Ang Gao

据说Hadoop的HDFS实现了类似google的GFS文件系统,并且用java实现了简化的分布式编程模式,找时间也试试看

Google的MapReduce是自己写的,不是用Hadoop的实现。 by Chen Shuo

“Hadoop包含了一个分布式文件系统以及MapReduce编程结构的一个实现,该实现被Google广泛用于进行跨集群海量数据集的并行处理。”翻译得不准确。

Hadoop which was originally created to support Nutch includes a distributed filesystem and an implementation of the MapReduce programming structure used extensively by Google for parallel processing of large data sets across a cluster.

原文是说 Google 大量使用 MapReduce 来做海量数据的并行处理,不过它有自己的 MapReduce 实现(不是Hadoop),还有这些海量数据位于一个集群中,而非“跨集群”。

Re: Google的MapReduce是自己写的,不是用Hadoop的实现。 by Lai Jason

已经修正了,多谢认真指正。

只有大家不断向我们提供宝贵的意见和建议,InfoQ 中文站的品质才能保持与全球站一贯的高标准。:)

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

3 讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT