欢迎投稿

今日深度:

Hadoop安装过程,

Hadoop安装过程,


以hadoop1.2.1为例

一、安装jdk

二、安装hadoop

1、解压到/usr/local/hadoop

2.配置文件

(1)伪分布式

a.  hadoop-env.sh

   配置JAVA_PATH:export JAVA_PATH = /usr/local/hadoop/

b.hdfs-site.xml

<configuration>     <property>          <name>dfs.data.dir</name>          <value>/usr/local/hadoop-1.2.1/data</value>   </property>      <property>          <name>dfs.replication</name>          <value>1</value>      </property> </configuration> dfs.data.dir:数据节点存储块的目录列表。 dfs.replication:数据块备份的份数。

c.mapred-core.xml

<configuration>      <property>          <name>mapred.job.tracker</name>          <value>localhost:9001</value>      </property> </configuration> mapred.job.tracker:作业跟踪器的位置

d.core-site.xml

<configuration>      <property>          <name>fs.default.name</name>          <value>hdfs://localhost:9000</value>      </property> </configuration> fs.default.name NameNode的IP地址和端口

(2)单机模式

(3)完全分布式模式

三、配置SSH客户端不需要输入密码登陆  cd ~

  生成公私钥对:ssh-keygen -t rsa
公钥-./ssh/id_rsa.pub

私钥-./ssh/id_rsa

用其中一个加密,用另一个解密

将公钥加到authorized_keys中:

 cp id_rsa.pub authorized_keys

以后有用户用公钥远程登陆系统,如果authorized_keys中记录了该公钥,则该用户可以免密码登陆。
四、格式化hdfs

bin/hadoop namenode -format

五、启动/关闭hadoop

bin/start-all.sh

bin/stop-all.sh

 六、通过浏览器来查看hadoop的命名节点(NameNode)和作业追踪器(JobTracker

NameNode - http://localhost:50070/

JobTracker - http://localhost:50030/

www.htsjk.Com true http://www.htsjk.com/Hadoop/41883.html NewsArticle Hadoop安装过程, 以hadoop1.2.1为例 一、安装jdk 二、安装hadoop 1、解压到/usr/local/hadoop 2.配置文件 (1)伪分布式 a.  hadoop-env.sh    配置JAVA_PATH:export JAVA_PATH = /usr/local/hadoop/ b.hdfs-site.xml co...
相关文章
    暂无相关文章
评论暂时关闭