Hadoop实战-中高级部分 之 Hadoop 集群安装，hadoop实

Hadoop实战-中高级部分 之 Hadoop 集群安装，hadoop实战

Hadoop RestFul Hadoop HDFS原理1 Hadoop HDFS原理2 Hadoop作业调优参数调整及原理 Hadoop HA Hadoop MapReduce高级编程 Hadoop IO Hadoop MapReduce工作原理 Hadoop 管理 Hadoop 集群安装 Hadoop RPC 第一部分：环境规划 •用户 test 密码 test •机器

主机名	IP	角色
bigdata-1	172.16.206.205	NameNode JobTraker Sencondary NameNode
bigdata-2	172.16.206.231	DataNode TaskTracker

•NameNode元数据目录 •/home/test/dfs/namenode •DataNode 数据存放目录 •/home/test/dfs/datanode •Sencondary NameNode •/home/test/dfs/sencondnode                          第二部分：安装JDK并配置环境变量 安装 JDK 并配置环境变量   •2 台机器做同样的事情 •更改执行权限 •chmod +x jdk-6u24-linux-i586.bin •安装 •./jdk-6u24-linux-i586.bin •配置环境变量 •Home路径下，打开.bashrc文件，命令如下 •vi .bashrc •添加JAVA环境变量 •export JAVA_HOME=/home/hadoop/java •export PATH=$JAVA_HOME/bin:$PATH     第三部分：建立互信配置SSH 配置互信 每台机器上执行 $ ssh-keygen $ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata -1 $ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata-2                      第四部分：安装Hadoop并配置环境变量 安装并配置Hadoop的环境变量 •解压Hadoop，到/home/test路径下 • tar zxvf hadoop-1.0.0.tar.gz •建立软连接 •ln –s   hadoop-1.0.0  hadoop •配置环境变量 •vi  .bashrc •添加如下内容           export HADOOP_CORE_HOME=/home/test/ hadoop           export PATH=.:$HADOOP_CORE_HOME/bin:$PATH     第五部分：配置Hadoop集群 core-site.xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://bigdata-1:9000</value> </property> <property> <name>fs.checkpoint.dir</name>         <value>/home/test/dfs/sencondnode</value> </property> </configuration> hdfs-site.xml <configuration> <property>             <name>dfs.name.dir</name>      <value>/home/test/dfs/namenode </value> </property> <property>              <name>dfs.data.dir</name>              <value> >/home/test/dfs/datanode</value> </property> <property>       <name>dfs.replication</name>         <value>1</value> </property> </configuration>    mapred-site.xml <configuration> <property>   <name>mapred.job.tracker</name>   <value>bigdata-1:9001</value> </property> </configuration> master与slaves •master      文件添加内容如下                    bigdata-1 •    Slaves      文件添加内容如下                     bigdata-2 Hadoop-env.sh •export JAVA_HOME=/home/tes/soft/java   第六部分：启动Hadoop集群 启动Hadoop集群 •hadoop namenode -format •start-all.sh •start-dfs.sh start-mapred.sh •hadoop-deamon.sh start  namenode                                               datanode                                               jobtracker                                               tasktracker                                               sencondnamenode    第七部分：测试WordCount 程序  测试WordCount 程序 •hadoop fs –mkdir input •hadoop fs –put test.txt input •hadoop jar  hadoop-examples-*.jar   wordcount  input output  
转载请注明出处【   http://sishuok.com/forum/blogPost/list/0/5969.html 】