文章：Hadoop中的集群配置和使用技巧

作者 岑文初 发布于 2008年8月7日

领域

语言 & 开发,

架构 & 设计,

运维 & 基础架构,

企业架构

主题

集群与缓存 ,

网格计算 ,

Java

标签

Hadoop

其实参看Hadoop官方文档已经能够很容易配置分布式框架运行环境了，不过这里既然写了就再多写一点，同时有一些细节需要注意的也说明一下，其实也就是 这些细节会让人摸索半天。Hadoop可以单机跑，也可以配置集群跑，单机跑就不需要多说了，只需要按照Demo的运行说明直接执行命令即可。这里主要重点说一下集群配置运行的过程。

本文是《Hadoop入门实践》三部曲的第二部。在上一篇文章中，主要讲述了What和Why的问题。在这一部中，主要介绍了配置的方法以及其中的一些技巧。接下来，我们会讲讲Hadoop的基本流程与应用开发，敬请期待。

详细内容，请阅读全文：Hadoop中的集群配置和使用技巧。

---

作者介绍：岑文初，就职于阿里软件公司研发中心平台一部，任架构师。当前主要工作涉及阿里软件开发平台服务框架（ASF）设计与实现，服务集成平台（SIP）设计与实现。没有什么擅长或者精通，工作到现在唯一提升的就是学习能力和速度。个人Blog为：http://blog.csdn.net/cenwenchu79。

参与InfoQ中文站内容建设，请邮件至editors@cn.infoq.com。也欢迎大家到InfoQ中文站用户讨论组参与我们的线上讨论。

1. 返回顶部

   我还没成功运行过

   发表人 linbin chen

   不错, 介绍的好. 我之前也配置过, 但计算时卡住了, 几次都是这样, 不知什么原因.

   回复

2. 返回顶部

   一起学习,你将hadoop用到实际应用中去了吗?

   发表人 zhang qiaohui

   早些时候,我们在3台机器上成功部署运行过(hadoop/hbase),好像也曾记录过配置过程,地址在此:solomons.javaeye.com
   有机会一起探讨下,目前我正在hadoop的基础上研究pig这个东东,来分析网站日志
   期待楼主在实际应用中的经验

   回复

3. 返回顶部

   hadoop namenode -format 这个格式化是格式化的所有硬盘么？

   发表人 shi jackey

   hadoop namenode -format 这个格式化是格式化的所有硬盘么？

   回复

4. 返回顶部

   Re: hadoop namenode -format 这个格式化是格式化的所有硬盘么？

   发表人 shi jackey

   08/08/13 10:53:21 INFO dfs.Storage: Storage directory /tmp/hadoop-tmp/dfs/name has been successfully formatted.
   
   看样子只是格式化存储目录，真不太清楚这个所谓的format有什么功用？？？？

   回复

5. 返回顶部

   Re: hadoop namenode -format 这个格式化是格式化的所有硬盘么？

   发表人 shi jackey

   root@cmstest251-189 hadoop-0.17.1]# bin/start-all.sh
   starting namenode, logging to /usr/local/hadoop-0.17.1/bin/../logs/hadoop-root-namenode-cmstest251-189.hexun.com.out
   10.0.251.190: starting datanode, logging to /usr/local/hadoop-0.17.1/bin/../logs/hadoop-root-datanode-cmstest251-190.hexun.com.out
   10.0.251.120: starting datanode, logging to /usr/local/hadoop-0.17.1/bin/../logs/hadoop-root-datanode-cms251-120.hexun.com.out
   10.0.251.120: /usr/local/hadoop-0.17.1/bin/../bin/hadoop: line 166: /usr/java/jdk/bin/java: 没有那个文件或目录
   10.0.251.120: /usr/local/hadoop-0.17.1/bin/../bin/hadoop: line 251: /usr/java/jdk/bin/java: 没有那个文件或目录
   10.0.251.120: /usr/local/hadoop-0.17.1/bin/../bin/hadoop: line 251: exec: /usr/java/jdk/bin/java: cannot execute: 没有那个文件或目录
   10.0.251.189: starting secondarynamenode, logging to /usr/local/hadoop-0.17.1/bin/../logs/hadoop-root-secondarynamenode-cmstest251-189.hexun.com.out
   starting jobtracker, logging to /usr/local/hadoop-0.17.1/bin/../logs/hadoop-root-jobtracker-cmstest251-189.hexun.com.out
   10.0.251.190: starting tasktracker, logging to /usr/local/hadoop-0.17.1/bin/../logs/hadoop-root-tasktracker-cmstest251-190.hexun.com.out
   10.0.251.120: starting tasktracker, logging to /usr/local/hadoop-0.17.1/bin/../logs/hadoop-root-tasktracker-cms251-120.hexun.com.out
   10.0.251.120: /usr/local/hadoop-0.17.1/bin/../bin/hadoop: line 166: /usr/java/jdk/bin/java: 没有那个文件或目录
   10.0.251.120: /usr/local/hadoop-0.17.1/bin/../bin/hadoop: line 251: /usr/java/jdk/bin/java: 没有那个文件或目录
   10.0.251.120: /usr/local/hadoop-0.17.1/bin/../bin/hadoop: line 251: exec: /usr/java/jdk/bin/java: cannot execute: 没有那个文件或目录
   [root@cmstest251-189 hadoop-0.17.1]# pslt -i:9000
   
   
   没有那个文件或目录，这个什么错

   回复

6. 返回顶部

   Re: hadoop namenode -format 这个格式化是格式化的所有硬盘么？

   发表人 cen wenchu

   初始化namenode,为HDFS作第一次运行的准备。

   回复

7. 返回顶部

   hadoop的使用

   发表人 隋 酸菜

   设置好必要的配置，能正常启动 hadoop的一些脚本 比如strat-all.sh等
   那又如何跟C++程序结合起来使用？
   有C++接口没？

   回复

8. 返回顶部

   遇到和你同样的问题，

   发表人 周 辉

   您好：
   我在部署hadoop时遇到了同样的问题，请问你提出的问题解决了吗？如果解决了请告诉我是怎么解决的，谢谢了。非常感谢。

   回复

9. 返回顶部

   遇到和 jackey 1同样的问题，

   发表人 周 辉

   刚才问题没说清楚，我是遇到和 jackey 1同样的问题，有谁知道怎么解决吗？

   回复

10. 返回顶部

    Re: hadoop namenode -format 这个格式化是格式化的所有硬盘么？

    发表人 han tixiang

    你jdk没有安装好

    回复

11. 返回顶部

    Re: hadoop namenode -format 这个格式化是格式化的所有硬盘么？

    发表人 Shi Yanjun

    不是格式化所有硬盘，在配置的时候，已经指定的HDFS的namenode的文件系统配置：
    <property>
    <name>fs.default.name</name>//你的namenode的配置，机器名加端口
    <value>hdfs://10.2.224.46:54310/</value>
    </property>
    HDFS就像一个普通的文件系统一样，你在使用之前先要格式化一下计算HDFS能够使用的存储空间，所以要执行这个format操作。

    回复

• 更早的 >