BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Apache基金会主席Doug Cutting谈Hadoop和开源

| 作者 郑柯 关注 3 他的粉丝 发布于 2012年1月18日. 估计阅读时间: 4 分钟 | QCon上海2018 关注大数据平台技术选型、搭建、系统迁移和优化的经验。

在2011年12月2日举办的Hadoop In China 2011大会上,Apache软件基金会主席Doug Cutting先生来到了中国,并做了有关开源和Hadoop的演讲。会前,InfoQ中文站对Doug Cutting先生进行了专访。

Doug是多个成功开源项目的创立者,包括Lucene、Nutch和Hadoop。Doug于2009年从Yahoo!加入Cloudera,当时他所在的团队构建并部署了生产环境的Hadoop存储和分析集群,完成关键任务的业务分析,他是团队的主要成员。Doug拥有斯坦福大学的学士学位,同时是Apache软件基金会董事会成员。

InfoQDoug先生,非常欢迎您来到中国,您能先做个简单的自我介绍吗?

Doug我叫Doug Cutting,是一名软件开发人员,在硅谷工作多年。大概11年前,我开始做开源软件方面的工作。首先参与了Lucene搜索项目。后来,Lucene被带到了Apache软件基金会中,我就在其中从事开源工作了,那是10年前。此后,我开始了又一个项目——Nutch,这也是一个web搜索技术;然后就是Hadoop,这个后来非常成功的项目。 过去5年左右,我一直在做Big Data和存储处理方面的工作。

InfoQ:在您看来,人们使用Hadoop遇到的最大障碍是什么?您能提供一些建议让大家克服这些障碍么?

Doug教育问题,在我看来是最大的问题。 使用Hadoop,需要不同的思考和计算方式,现在也已经有了一些书籍和课程,能够帮大家克服这些问题。随着理解它的人越来越多,我相信传播得也会越来越快。是有一些技术上的障碍和社会层面上的障碍,不过这些问题解决起来更容易,因为技术和相关社区都在发展。但是首先人们要明白Hadoop背后的机制。

InfoQ:对于大规模应用来说,监控非常重要。说到监控运行Hadoop的应用,您能列举出最重要的三个监控指标吗?还有您选择这三个的原因?

DougHadoop的目标是以低成本、高效率的方式来做事情。你的硬件使用率是一个很好的指标,比如CPU的使用率、磁盘的使用率等等,你有没有完全把资源的利用起来。

与其一起的,你还希望利用高效的算法,当然,这很难监控,需要在一开始就想清楚。一旦开始运行后,要保证所有的资源都能高效利用,有时候很困难,需要在分布式系统里的输入、输出、计算这三者之间取得平衡。这些是最底层要监控的东西。

当然,还有错误和失败等等,这些也是很重要的东西。分布式系统内的调试要更为困难。知道什么时间、哪里出了问题,此类报表对于寻找问题根源是很有帮助的。 同时,某些应用的特定报表也很重要,比如把某些运行进度报告给用户。

InfoQ:接下来是关于开源软件的问题:从技术角度看,您认为哪个开源项目将会成为下一个“超级巨星”?

Doug我想HBase正在不断吸引更多眼球,它在变得越来越稳定、性能越来越高效。我对于HBase的进展非常兴奋,我想很多机构将来都会用到它,从中获得价值。

InfoQ:您有很多开源项目方面的经验,能否介绍下您如何激励大家参与开源项目、并为其不断做出贡献?

Doug最重要的事情,是倾听其他人,试图理解他们为什么要做某些事情。我们每个人都很自然地把注意力放在自己的需要上。要想一起协作做某些事情,我们必须理解其他人的需求。所以,有礼貌地倾听、理解、接受其他人的需求,并试图找出大家可以一起工作的方式方法,这是开源项目中最重要的技能。

Doug Cutting先生在本次大会上的两个演讲也将在不久后在InfoQ中文站上发布,请大家保持关注。

被采访的视频,请访问优酷版本


给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ)或者腾讯微博(@InfoQ)关注我们,并与我们的编辑和其他读者朋友交流。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT