欢迎投稿

今日深度:

hadoop的环境配置,

hadoop的环境配置,


           写在前面:这一篇文章是应该是科协最后一次上课的备课内容,写完这一篇博客,我想,我已经把我懂得的成熟的技术都毫无保留的尽力教授给我的学生。总结这一学期来的科协上课。虽然自己的技术十分有限,但还是坚持做到了每次上课都备课,确保上课演示的每一个例子都正确无误(然而,毕竟知识水平有限,应该还是会有一些教的不大准确的地方),让学弟能少走一些弯路。我想我已经尽力了,至少我问心无愧············

            一、几个重要的目录

            1、/sbin/service 。在这个目录里可以进行相关的关于网关的操作。

             2、/etc/sysconfig/network。在这个目录可以进行多hostname的修改

             3、/etc/hosts 在这里可以配置DNS

             4、.ssh   在这里可以配置无密钥访问(很重要)

             5、/etc/profile.d/java.sh    在这里可以配置一下系统的环境变量

              6、/opt/modules/hadoop/    在这里可以进行hadoop的相关操作

              7、几个核心的配置文件:core-site.xml、hdfs-site.xml、mapred-site.xml

          二、hadoop配置的基本命令

              1、 授时服务的设置

                命令:crontab -e  

                然后输入0 1 * * *  /usr/sbin/ntpdate cn.pool.ntp.org

              2、IP配置

              命令:setup

              将master的IP配为192.168.1.1001

              3、本地DNS配置

               命令   vi    /etc/hosts

               然后加上以下内容:

               192.168.1.100 master 

               192.168.1.101

             4、SSH无密钥配置

               ssh-keygen -q -t rsa -N "" -f /home/hadoop/.ssh/id_rsa

               cat    id_rsa.pub      >    authorized_keys

               chmod go-wx  authorized_keys

              5、java环境的配置(与windows下的类似)

              ./jdk-6u21-linux-i586-rpm.bin

               vi /etc/profile.d/java.sh

               export JAVA_HOME=/usr/java/jdk1.6.0_21/

               export HADOOP_HOME=/opt/modules/hadoop/hadoop-1.0.3/

               export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

               6、hadoop环境的配置

             cp hadoop-1.0.3.tar.gz  /opt/modules/hadoop/

              cd /opt/modules/hadoop/

              tar -xzvf hadoop-1.0.3.tar.gz


              以上便是配置环境时用到的基本命令


               


           

                   

   


www.htsjk.Com true http://www.htsjk.com/Hadoop/41499.html NewsArticle hadoop的环境配置,            写在前面:这一篇文章是应该是科协最后一次上课的备课内容,写完这一篇博客,我想,我已经把我懂得的成熟的技术都毫无保留的尽力教授给我的学生...
相关文章
    暂无相关文章
评论暂时关闭