Hadoop安装过程,
以hadoop1.2.1为例
一、安装jdk
二、安装hadoop
1、解压到/usr/local/hadoop
2.配置文件
(1)伪分布式
a. hadoop-env.sh
配置JAVA_PATH:export JAVA_PATH = /usr/local/hadoop/
b.hdfs-site.xml
<configuration>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop-1.2.1/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
dfs.data.dir:数据节点存储块的目录列表。
dfs.replication:数据块备份的份数。
|
c.mapred-core.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
mapred.job.tracker:作业跟踪器的位置
|
d.core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
fs.default.name
NameNode的IP地址和端口
|
(2)单机模式
(3)完全分布式模式
三、配置SSH客户端不需要输入密码登陆 cd ~
生成公私钥对:ssh-keygen -t rsa
公钥-./ssh/id_rsa.pub
私钥-./ssh/id_rsa
用其中一个加密,用另一个解密
将公钥加到authorized_keys中:
cp id_rsa.pub authorized_keys
以后有用户用公钥远程登陆系统,如果authorized_keys中记录了该公钥,则该用户可以免密码登陆。
四、格式化hdfs
bin/hadoop namenode -format
五、启动/关闭hadoop
bin/start-all.sh
bin/stop-all.sh
六、通过浏览器来查看hadoop的命名节点(NameNode)和作业追踪器(JobTracker)
NameNode - http://localhost:50070/
JobTracker - http://localhost:50030/
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。