hadoop安装之-hadoop，
一、hadoop的三种安装模式
1，单机模式
解压源码包后不用更改配置文件，就可以运行，主要用于开发调试MapReduce程序的应用逻辑。
2，伪分布式
伪分布式和完全分布式的区别仅仅是物理机的个数，步骤基本一致。
3，完全分布式
完全分布式需要在每台机器上安装hadoop以组成分布式存储、计算环境。
二、完全分布式安装
1，环境：
三台centOS 6.5，hadoop 2.6，jdk 7，
2，master机器的host文件
192.168.189.20 master
192.168.189.21 slave1
192.168.189.22 slave2
3，master机器安装jdk
路径为/usr/local/jdk，
4，配置JDK环境变量
vim /ect/profile，
在最后增加
# set jdk
export JAVA_HOME=/usr/local/jdk/
export JRE_HOME=/usr/local/jdk/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
然后使用sudo source /ect/profile使之生效
5，配置SSH
参考《多台计算机之间利用ssh实现无密码登录 》
6，解压hadoop-2.6.0.tar.gz文件
路径为/usr/local/hadoop
7，配置hadoop环境变量
#set hadoop
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
8，编辑hadoop参数
(1) 进入/usr/local/hadoop/etc/hadoop目录中，编辑hadoop-env.sh文件，使用vim hadoop-env.sh，修改内容如下：
export JAVA_HOME=/usr/local/jdk
(2) 编辑yarn-env.sh vim yarn-env.sh，修改内容如下：
JAVA_HOME=/usr/local/jdk
(3) 编辑core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
(4) 编辑hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/nddir</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/dddir</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
(5) 编辑mapred-site.xml（需要复制mapred-site.xml.template，并命名为mapred-site.xml）
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>http://192.168.189.20:9001</value>
</property>
</configuration>
(6) 编辑yarn-site.xml文件
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>Yarn.nodemanager.aux-services</name>
<value>mapreduce.shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.189.20:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.189.20:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.189.20:8031</value>
(7) 编辑slaves文件（只需填入datanode机器的IP）
192.168.189.21
192.168.189.22
9，复制hadoop到另外两个节点，使用的命令是：
scp -r /usr/local/hadoop
hadoop@192.168.189.21:/usr/local/hadoop
scp -r /usr/local/hadoop
hadoop@192.168.189.22:/usr/local/hadoop
10，在master节点格式化hdfs文件
[hadoop@master hadoop]$ ./bin/hdfs namenode -format
11，启动hadoop
[hadoop@master hadoop]$ ./sbin/start-all.sh
12，namenode和datanode上使用/usr/local/jdk/bin/jps查看节点状态
http://sys1:50070/dfshealth.html查看节点状态
13，关闭hadoop
[hadoop@master hadoop]$ ./sbin/stop-all.sh