欢迎投稿

今日深度:

hadoop安装过程,

hadoop安装过程,


 2.1系统环境: 

    宿主机器:

        CPUIntel(R) Core™ i3 CPU M 380 @ 2.53GHz

        内存:4G

        硬盘:500G

        操作系统:Win7  32Bit 无线上网

    Linux 版本:

        CentOS-6.3-i386-minimal

    虚拟机版本

        VirtualBox 4.2.12

        采用host-only上网方式

    计划安装3CentOS虚拟机,实现完整分布式模式。

    hadoop1,hadoop2,hadoop3 分别内存为512M,硬盘容量为10G。

     环境如下:

 

    虚拟机版本号:
   

  虚拟机ip地址:

  

2.2 hadoop具体安装过程:

    安装wget:

 

    安装jdk

 

 

 

配置java环境变量

vi /etc/profile 添加:

JAVA_HOME=/usr/java/jdk1.6.0_45

PATH=$PATH:$JAVA_HOME/bin

CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar

export PATH JAVA_HOME CLASSPATH

 

source /etc/profile使配置生效

 

新增hadoop用户,并配置密码。

 

 关闭本虚拟机。

halt –p

 

复制虚拟机

复制hadoop1

 

 同样复制hadoop2,hadoop3

 

通过VirtualBox的新建功能把刚才hadoop1-3创建到虚拟机中。

设置虚拟机启用PAE/NX

 

虚拟机启动后:

    rm /etc/udev/rules.d/70-persistent-net.rules

    重启

然后配置虚拟机ip:

    vi /etc/sysconfig/network-scripts/ifcfg-eth0

 

配置结果如下:

    hadoop1:192.168.137.3

    hadoop2:192.168.137.4

    hadoop3:192.168.137.5

配置ssh互信

     首先配置host,便于以后用主机名直接访问各主机,省去了输入IP地址的麻烦

    vi /etc/hosts  添加内容如下,三台机器配置相同:

  192.168.137.3   hadoop1.localdomain     hadoop1
  192.168.137.4   hadoop2.localdomain     hadoop2
  192.168.137.5   hadoop3.localdomain     hadoop3

各项以tab键隔开。

    重启生效

 

   登陆每台机器执行生成密钥命令。

将所有的公钥文件 id_rsa.pub汇总到一个总的认证文件authorized-keys中

chmod 700 ~/.ssh

chmod 600 ~/.ssh/authorized_keys 

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

ssh hadoop@hadoop2 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

ssh hadoop@hadoop3 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

目前hadoop1上存在一份完整的认证key文件,这时候,把她拷到hadoop2,hadoop3主机的对应目录下

 验证:

SSH互信配置完成。

配置hadoop

    回到hadoop1虚拟机内,使用wget 命令下载hadoop 0.20

     wget http://mirror.bjtu.edu.cn/apache/hadoop/common/stable/hadoop-1.0.4.tar.gz


解压

 

创建tmp文件夹

 

配置core-site.xml文件

修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号。

vi /home/hadoop/hadoop-1.0.4/conf/core-site.xml

 

配置hdfs-site.xml文件

修改Hadoop中HDFS的配置,配置的备份方式默认为3。

 配置mapred-site.xml文件

修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端配置的是JobTracker的地址和端口。

 

配置masters文件

 

 配置slaves文件(Master主机特有

 

配置hadoop-env.sh 添加export JAVA_HOME=/usr/java/jdk1.6.0_45

 

现在在Master机器上的Hadoop配置就结束了,剩下的就是配置Slave机器上的Hadoop。

把Hadoop文件夹复制到其他机器的"/home/hadoop"目录下,然后根据实际情况进行配置,不要配置slaves文件

scp ~/.ssh/authorized_keys hadoop@hadoop2:~/.ssh/

scp ~/.ssh/authorized_keys hadoop@hadoop3:~/.ssh/

 

格式化namenode

这一步在主结点master上进行操作:

 

启动hadoop

在启动前关闭集群中所有机器的防火墙

这一步也在主结点master上进行操作:

 用jps检验各后台进程是否成功启动

在主结点上查看namenode,jobtracker,secondarynamenode进程是否启动。

正常

在hadoop2和hadoop3上

至此,hadoop完整分布式模式安装完成。

 

 

www.htsjk.Com true http://www.htsjk.com/Hadoop/41025.html NewsArticle hadoop安装过程,  2.1系统环境:      宿主机器:         CPU : Intel(R)   Core™ i3 CPU M 380 @ 2.53GHz         内存: 4G         硬盘: 500G         操作系统: Win7  32B...
相关文章
    暂无相关文章
评论暂时关闭