BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Apache Hadoop 2.3.0发布

| 作者 孙镜涛 关注 2 他的粉丝 发布于 2014年2月28日. 估计阅读时间: 4 分钟 | AICon 关注机器学习、计算机视觉、NLP、自动驾驶等20+AI热点技术和最新落地成功案例。

分布式计算开源框架Hadoop近日发布了今年的第一个版本Hadoop-2.3.0,新版本不仅增强了核心平台的大量功能,同时还修复了大量bug。

新版本对HDFS做了两个非常重要的增强:

借助于HDFS对异构存储层次的支持,我们将能够在同一个Hadoop集群上使用不同的存储类型。此外我们还可以使用不同的存储媒介——例如商业磁盘、企业级磁盘、SSD或者内存等——更好地权衡成本和收益。如果你想更详细地了解与该增强相关的信息,那么可以访问这里

类似地,在新版本中我们还能使用Hadoop集群中的可用内存集中地缓存并管理数据节点内存中的数据集。MapReduce、Hive、Pig等类似的应用程序将能够申请内存进行缓存,然后直接从数据节点的地址空间中读取内容,通过完全避免磁盘操作极大地提高扫描效率。Hive现在正在为ORC文件实现一个非常有效的零复制读取路径,该功能就使用了这项新技术。

YARN方面,令我们非常兴奋的事情是资源管理器自动故障转移功能已经进入尾声,虽然在2.3.0这个版本中该功能还没有被发布,但是极有可能会包含在Hadoop-2.4中。此外,2.3.0版本还对YARN做了一些关键的运维方面的增强,例如更好的日志、错误处理和诊断等。

MapReduce的一个关键增强是MAPREDUCE-4421。借助于该功能我们已经不再需要在每一台机器上安装MapReduce二进制程序,仅仅需要通过YARN分布式缓存将一个MapReduce包复制到HDFS中就可以了。

当然,新版本还包含大量的bug修复以及其他方面的增强。例如:

  • YarnClientImpl类中的异步轮询操作引入了超时
  • 修复了RMFatalEventDispatcher没有记录事件原因的问题
  • HA配置不会影响节点管理器的RPC地址
  • RM Web UI和REST API统一使用YarnApplicationState
  • 在RpcResponseHeader中包含RPC错误信息,而不是将其分开发送
  • 向jetty/httpserver中添加了请求日志
  • 修复了将dfs.checksum.type定义为NULL之后写文件和hflush会抛出java.lang.ArrayIndexOutOfBoundsException的问题

如果想要了解更多的信息,请点击这里。不得不说的是,整个社区在Hadoop-2.3.0版本的发布过程中再次发挥了非常重要的作用,他们提交了很多非常重要的内容。

最后,让我们展望一下2.4版本中将会包含的一些非常令人兴奋的功能:

  • HDFS将会支持ACL
  • 关键的运营能力,例如HDFS支持滚动更新,使用ProtoBufs序列化/反序列化FSImage
  • YARN资源管理器自动故障转移功能
  • YARN通用应用程序时间轴和历史服务,使得在YARN中开发和管理新框架及服务变得非常容易

感谢吴甘沙对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ)或者腾讯微博(@InfoQ)关注我们,并与我们的编辑和其他读者朋友交流。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT