Hadoop 伪分布式搭建，hadoop搭建

Hadoop 伪分布式搭建

Hadoop环境部署-JDK部分

准备工作

• 在 /opt/目录下创建文件夹modules，和softwares
  

mkdir softwares
mkdir modules

• 安装lrzsz (在linux里可代替ftp上传和下载。)
  首先安装lrzsz
  yum -y install lrzsz
• 上传文件，执行命令rz，会跳出文件选择窗口，选择好文件，点击确认即可。
  rz
• 下载文件，执行命令sz
  sz

Hadoop环境部署-JDK部分

Hadoop伪分布式环境部署-Hadoop部分

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode

bigdata-04或者IP地址 跟上50070端口号，外部通信http
dfs.namenode.http-address 50070

http://bigdata-4:50070 （如果windows本地没有配置hosts,需要配置）

如果不能正确打开页面，请检查防火墙是否关闭

• 切换至root 用户，service iptables status
• 关闭防火墙 chkconfig iptables off
  

创建文件夹，HDFS中有用户主目录的概念，和Linux一样

bin/hdfs dfs -mkdir -p wxt_test/iuput

bin/hdfs dfs -put /opt/modules/hadoop-2.5.0/etc/hadoop/core-site.xml wxt_test/input/core-site.xml

上传成功，HDFS外部UI界面，会有上传的文件显示

bin/hdfs dfs -text /core-site.xml

终端会显示上传文件的内容。

bin/hdfs dfs -get /core-site.xml /home/wxt/Desktop/get-site.xml

然后你会看到这个文件，并且重命名于桌面。

Hadoop 伪分布式搭建至此结束。

写在后面

- 至于优化，下篇再写
- 学习中有什么问题，可以在下面留言。
- 欢迎加群一起学习：169033439(加群备注：wxt_bigdata)