BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

文章:Hadoop中的集群配置和使用技巧

| 作者 岑文初 关注 2 他的粉丝 发布于 2008年8月9日. 估计阅读时间: 1 分钟 | CNUTCon 了解国内外一线大厂50+智能运维最新实践案例。

其实参看Hadoop官方文档已经能够很容易配置分布式框架运行环境了,不过这里既然写了就再多写一点,同时有一些细节需要注意的也说明一下,其实也就是 这些细节会让人摸索半天。Hadoop可以单机跑,也可以配置集群跑,单机跑就不需要多说了,只需要按照Demo的运行说明直接执行命令即可。这里主要重点说一下集群配置运行的过程。

本文是《Hadoop入门实践》三部曲的第二部。在上一篇文章中,主要讲述了What和Why的问题。在这一部中,主要介绍了配置的方法以及其中的一些技巧。接下来,我们会讲讲Hadoop的基本流程与应用开发,敬请期待。

详细内容,请阅读全文:Hadoop中的集群配置和使用技巧


作者介绍:岑文初,就职于阿里软件公司研发中心平台一部,任架构师。当前主要工作涉及阿里软件开发平台服务框架(ASF)设计与实现,服务集成平台(SIP)设计与实现。没有什么擅长或者精通,工作到现在唯一提升的就是学习能力和速度。个人Blog为:http://blog.csdn.net/cenwenchu79

参与InfoQ中文站内容建设,请邮件至editors@cn.infoq.com。也欢迎大家到InfoQ中文站用户讨论组参与我们的线上讨论。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

我还没成功运行过 by linbin chen

不错, 介绍的好. 我之前也配置过, 但计算时卡住了, 几次都是这样, 不知什么原因.

一起学习,你将hadoop用到实际应用中去了吗? by zhang qiaohui

早些时候,我们在3台机器上成功部署运行过(hadoop/hbase),好像也曾记录过配置过程,地址在此:solomons.javaeye.com
有机会一起探讨下,目前我正在hadoop的基础上研究pig这个东东,来分析网站日志
期待楼主在实际应用中的经验

hadoop namenode -format 这个格式化是格式化的所有硬盘么? by jackey shi

hadoop namenode -format 这个格式化是格式化的所有硬盘么?

Re: hadoop namenode -format 这个格式化是格式化的所有硬盘么? by jackey shi

08/08/13 10:53:21 INFO dfs.Storage: Storage directory /tmp/hadoop-tmp/dfs/name has been successfully formatted.

看样子只是格式化存储目录,真不太清楚这个所谓的format有什么功用????

Re: hadoop namenode -format 这个格式化是格式化的所有硬盘么? by jackey shi

root@cmstest251-189 hadoop-0.17.1]# bin/start-all.sh
starting namenode, logging to /usr/local/hadoop-0.17.1/bin/../logs/hadoop-root-namenode-cmstest251-189.hexun.com.out
10.0.251.190: starting datanode, logging to /usr/local/hadoop-0.17.1/bin/../logs/hadoop-root-datanode-cmstest251-190.hexun.com.out
10.0.251.120: starting datanode, logging to /usr/local/hadoop-0.17.1/bin/../logs/hadoop-root-datanode-cms251-120.hexun.com.out
10.0.251.120: /usr/local/hadoop-0.17.1/bin/../bin/hadoop: line 166: /usr/java/jdk/bin/java: 没有那个文件或目录
10.0.251.120: /usr/local/hadoop-0.17.1/bin/../bin/hadoop: line 251: /usr/java/jdk/bin/java: 没有那个文件或目录
10.0.251.120: /usr/local/hadoop-0.17.1/bin/../bin/hadoop: line 251: exec: /usr/java/jdk/bin/java: cannot execute: 没有那个文件或目录
10.0.251.189: starting secondarynamenode, logging to /usr/local/hadoop-0.17.1/bin/../logs/hadoop-root-secondarynamenode-cmstest251-189.hexun.com.out
starting jobtracker, logging to /usr/local/hadoop-0.17.1/bin/../logs/hadoop-root-jobtracker-cmstest251-189.hexun.com.out
10.0.251.190: starting tasktracker, logging to /usr/local/hadoop-0.17.1/bin/../logs/hadoop-root-tasktracker-cmstest251-190.hexun.com.out
10.0.251.120: starting tasktracker, logging to /usr/local/hadoop-0.17.1/bin/../logs/hadoop-root-tasktracker-cms251-120.hexun.com.out
10.0.251.120: /usr/local/hadoop-0.17.1/bin/../bin/hadoop: line 166: /usr/java/jdk/bin/java: 没有那个文件或目录
10.0.251.120: /usr/local/hadoop-0.17.1/bin/../bin/hadoop: line 251: /usr/java/jdk/bin/java: 没有那个文件或目录
10.0.251.120: /usr/local/hadoop-0.17.1/bin/../bin/hadoop: line 251: exec: /usr/java/jdk/bin/java: cannot execute: 没有那个文件或目录
[root@cmstest251-189 hadoop-0.17.1]# pslt -i:9000


没有那个文件或目录,这个什么错

Re: hadoop namenode -format 这个格式化是格式化的所有硬盘么? by cen wenchu

初始化namenode,为HDFS作第一次运行的准备。

hadoop的使用 by 隋 酸菜

设置好必要的配置,能正常启动 hadoop的一些脚本 比如strat-all.sh等
那又如何跟C++程序结合起来使用?
有C++接口没?

遇到和你同样的问题, by 周 辉

您好:
我在部署hadoop时遇到了同样的问题,请问你提出的问题解决了吗?如果解决了请告诉我是怎么解决的,谢谢了。非常感谢。

遇到和 jackey 1同样的问题, by 周 辉

刚才问题没说清楚,我是遇到和 jackey 1同样的问题,有谁知道怎么解决吗?

Re: hadoop namenode -format 这个格式化是格式化的所有硬盘么? by han tixiang

你jdk没有安装好

Re: hadoop namenode -format 这个格式化是格式化的所有硬盘么? by Junny Stone

不是格式化所有硬盘,在配置的时候,已经指定的HDFS的namenode的文件系统配置:
<property>
<name>fs.default.name</name>//你的namenode的配置,机器名加端口
<value>hdfs://10.2.224.46:54310/</value>
</property>
HDFS就像一个普通的文件系统一样,你在使用之前先要格式化一下计算HDFS能够使用的存储空间,所以要执行这个format操作。

namenode和 datanode 必须 用不同的主机名 by li guoqing

您好,我现在的问题是 , namenode和 datanode 必须 用不同的主机名。该怎么配置 ?????

一台pc同时作为master与slave是没问题的,不知道版主为啥不行那?? by Terry Liu

我就是一台PC作为master(nameNode),同时作为slave(dataNode),然后start-all.sh,没有发现什么问题,查看datanode也确实这个master在里面。

一台pc同时作为master与slave是没问题的,不知道版主为啥不行那?? by Terry Liu

我就是一台PC作为master(nameNode),同时作为slave(dataNode),然后start-all.sh,没有发现什么问题,查看datanode也确实这个master在里面。

一台pc同时作为master与slave是没问题的,不知道版主为啥不行那?? by Terry Liu

我就是一台PC作为master(nameNode),同时作为slave(dataNode),然后start-all.sh,没有发现什么问题,查看datanode也确实这个master在里面。

一台pc同时作为master与slave是没问题的,不知道版主为啥不行那?? by Terry Liu

我就是一台PC作为master(nameNode),同时作为slave(dataNode),然后start-all.sh,没有发现什么问题,查看datanode也确实这个master在里面。

一台pc同时作为master与slave是没问题的,不知道版主为啥不行那?? by Terry Liu

我就是一台PC作为master(nameNode),同时作为slave(dataNode),然后start-all.sh,没有发现什么问题,查看datanode也确实这个master在里面。

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

17 讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT