单机伪分布式环境搭建(配置Hadoop)，单机伪搭建hadoop

单机伪分布式环境搭建(配置Hadoop)，单机伪搭建hadoop

1、解压Hadoop压缩包

2、配置Hadoop

 /opt/modules/hadoop-2.5.0/etc/hadoop/Hadoop-env.sh

/opt/modules/hadoop-2.5.0/etc/hadoop/mapred-env.sh

/opt/modules/hadoop-2.5.0/etc/hadoop/yarn-env.sh 

在这3个文件中都配置

export JAVA_HOME=/opt/modules/jdk1.7.0_67

3、与hdfs相关的配置

 1>、core-site.xml

<!--NameNode地址，8020是指定进程8020，访问入口-->

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://bigdata.ibeifeng.com:8020</value>

    </property>

 

 

<!--hadoop在运行时产生的文件，元数据在本地的存放目录 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/modules/hadoop-2.5.0/data</value>

</property>

2>、hdfs-site.xml

<!--存放到hdfs上的文件的副本数，伪分布式配置为1 -->

<property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

 3）格式化namenode  只格式化一遍，不要重复格式化

    ${HADOOP_HOME}目录下：

$ bin/hdfs namenode -format

4）启动hdfs守护进程

$ sbin/hadoop-daemon.sh start namenode  //启动namenode进程

$ sbin/hadoop-daemon.sh start datanode    //启动datanode

用jps查看进程是否启动

5)HDFS文件系统常用命令

$ bin/hdfs dfs -rm -R  /文件名  删除文件命令

$ bin/hdfs dfs -mkdir -p  /文件名  创建文件命令

$ bin/hdfs dfs -ls  /        查看所有文件命令

$ bin/hdfs dfs -put /原文件路径 /目标路径   上传文件命令

4.配置YARN  任务调度 （Mapreduce） 资源管理（resourcemanager nodemanager）

${HADOOP_HOME}/etc/hadoop目录下配置yarn-site.xml

=======yarn-site.xml=====

<!-- 指定ResorceManager所在服务器的主机名-->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>[hostname]</value>

</property>

 

<!-- 指明在执行MapReduce的时候使用shuffle-->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

复制并重名模板文件

$ cp  mapred-site.xml.template  mapred-queues.xml

=======mapred-site.xml=====

${HADOOP_HOME}/etc/hadoop目录下配置mapred-site.xml

 

<!-- 指定MapReduce基于Yarn来运行-->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

 

 

4.启动hdfs yarn进程

$ sbin/yarn-daemon.sh start resourcemanager

$ sbin/yarn-daemon.sh start nodemanager

5.配置日志聚合

=======mapred-site.xml=========

**追加到原来配置和后面

<property>

<name>mapreduce.jobhistory.address</name>

<!--配置实际的主机名和端口-->

<value>[hostname]:10020</value>

</property>

 

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>[hostname]:19888</value>

</property>

==============yarn-site.xml=======

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

<!--日志保存时间-->

<property>

<name>yarn.log-aggregation.retain-seconds</name>

<value>86400</value>

</property>

6.停止所有进程重新启动，以便配置文件生效

1）停止进程

$ sbin/hadoop-daemon.sh stop namenode

$ sbin/hadoop-daemon.sh stop datanode

$ sbin/yarn-daemon.sh stop resourcemanager

$ sbin/yarn-daemon.sh stop nodemanager

2）启动进程

$ sbin/hadoop-daemon.sh start namenode

$ sbin/hadoop-daemon.sh start datanode

$ sbin/yarn-daemon.sh start resourcemanager

$ sbin/yarn-daemon.sh start nodemanager

3）启动历史

启动历史服务

$ sbin/mr-jobhistory-daemon.sh start historyserver