欢迎投稿

今日深度:

hadoop部署,

hadoop部署,


集群信息如下:

主机名

Hadoop角色

Hadoop jps命令结果

Hadoop用户

Hadoop安装目录

master

Master

slaves

NameNode

DataNode

JobTracker

TaskTracker

SecondaryNameNode

创建相同的用户的组名:hadoop。

安装hadoop-0.20.2时使用hadoop用户,并且hadoop的文件夹归属也是hadoop:hadoop

/opt/hadoop

slave1

slaves

DataNode

TaskTracker

slave2

slaves

DataNode

TaskTracker

  注:master即使master又是slave.master即使master又是slave.。

步骤

1, 修改机器名,设置固定IP,创建hadopp用户组和用户

2, 修改地址解析文件/etc/hosts (host屏蔽172 只保留master 和节点的IP,可用命令设置禁止重起后修改hosts:chkconfig NetworkManager off )

3, 安装JDK,hadoop ,设置/etc/bash_profile环境变量

4,修改hadoop配置文件(注意:缺少mapred-site.xml,可复制mapred-site.xml.templace重命名),配置hadoop-env.sh、yarn-env.sh的JAVA_HOME,否则启动时会报error

5,设置SSH无密码接入(注意master也需要配置,和配置600权限)

7, 用scp把master的hadoop目录复制到节点上, scp –r /opt/hadoop hadoop@slave1:/opt/hadoop (提示没有权限可在节点上先创建目录赋予hadoop用户权限, 注意节点和master的目录配置是完全一样的,无需修改IP)

6,主服务器master上执行bin/hdfs namenode -format进行初始化

7,master上启动hadoop .sbin目录下执行 ./start-all.sh 可以使用jps查看信息。停止的话,输入命令,sbin/stop-all.sh

8, http://master_ip:50070   http://master_ip:8088 

9, 节点宕机可在master执行start-all.sh 启动,会忽略已启动的节点 

参考:

http://www.07net01.com/2015/07/874408.html 

http://www.cnblogs.com/liuling/archive/2013/06/16/2013-6-16-01.html

http://jingyan.baidu.com/article/f00622283a76c0fbd3f0c839.html

http://blog.csdn.net/ab198604/article/details/8250461

http://www.aboutyun.com/thread-7513-1-1.html

www.htsjk.Com true http://www.htsjk.com/Hadoop/31117.html NewsArticle hadoop部署, 集群信息如下: 主机名 Hadoop角色 Hadoop jps命令结果 Hadoop用户 Hadoop安装目录 master Master slaves NameNode DataNode JobTracker TaskTracker SecondaryNameNode 创建相同的用户的组名:hadoop。 安...
相关文章
    暂无相关文章
评论暂时关闭