Hadoop安装过程,
以hadoop1.2.1为例
一、安装jdk
二、安装hadoop
1、解压到/usr/local/hadoop
2.配置文件
(1)伪分布式
a. hadoop-env.sh
配置JAVA_PATH:export JAVA_PATH = /usr/local/hadoop/
b.hdfs-site.xml
< configuration >
< name >dfs.data.dir</ name >
< value >/usr/local/hadoop-1.2.1/data</ value >
</ property >
< property >
< name >dfs.replication</ name >
< value >1</ value >
</ property >
</ configuration >
dfs.data.dir:数据节点存储块的目录列表。
dfs.replication:数据块备份的份数。
|
c.mapred-core.xml
< configuration >
< property >
< name >mapred.job.tracker</ name >
< value >localhost:9001</ value >
</ property >
</ configuration >
mapred.job.tracker:作业跟踪器的位置
|
d.core-site.xml
< configuration >
< property >
< name >fs.default.name</ name >
< value >hdfs://localhost:9000</ value >
</ property >
</ configuration >
fs.default.name
NameNode的IP地址和端口
|
(2)单机模式
(3)完全分布式模式
三、配置SSH客户端不需要输入密码登陆 cd ~
生成公私钥对:ssh-keygen -t rsa
公钥-./ssh/id_rsa.pub
私钥-./ssh/id_rsa
用其中一个加密,用另一个解密
将公钥加到authorized_keys中:
cp id_rsa.pub authorized_keys
以后有用户用公钥远程登陆系统,如果authorized_keys中记录了该公钥,则该用户可以免密码登陆。
四、格式化hdfs
bin/hadoop namenode -format
五、启动/关闭hadoop
bin/start-all.sh
bin/stop-all.sh
六、通过浏览器来查看hadoop的命名节点(NameNode)和作业追踪器(JobTracker)
NameNode - http://localhost:50070/
JobTracker - http://localhost:50030/
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。