Hadoop 集群搭建 3. Hadoop集群配置，

和通数据库htsjk.Com2019-12-21 22:08 来源:未知阅读:5270 评论 29 热度4

标签：

Hadoop 集群搭建 3. Hadoop集群配置，

hadoop 2.8.3 下载地址：
链接：https://pan.baidu.com/s/14LQjOEiWcXJnhuf5lRzzSA 密码：ma86
jdk 下载地址：

链接：https://pan.baidu.com/s/1iiJoVbrD6tiXlJekfaaS2A 密码：i9fs

1. 集群组网环境

主机名	IP	系统版本	hadoopnode,hadoop	进程名称
hadoopmaster	192.168.5.180	CentOS7	namenode,master	SecondaryNameNode,NameNode,jobtracker
hadoopslave1	192.168.5.181	CentOS7	datanode,slaver01	DataNode,jobtracker
hadoopslave2	192.168.5.185	CentOS7	datanode,slaver02	DataNode,jobtracker

2.操作系统与相关操作Linux安装虚拟机软件：VMwareCentOS7 镜像按照组网环境完成搭建即可修改主机名：vim /etc/hostname hadoopmasterhadoopslave1hadoopslave2
修改hosts：vim /etc/hosts192.168.5.180 hadoopmaster192.168.5.181 hadoopslave1192.168.5.185 hadoopslave2
Window相关软件：Linux远程连接工具：xshell 、crtLinux远程连接文件拷贝工具：WinSCP
3、Linux【SSH免密登录】SHH免密互通配置

hadoopmaster 与 hadoopslave1 互通
hadoopmaster 与 hadoopslave2 互通

打开SSH相关配置：vim /etc/ssh/sshd_configRSAAuthentication yesPubkeyAuthentication yes
重启ssh服务：systemctl restart sshd.service
生成公钥：cd ~mkdir .sshcd .sshtouch authorized_keysssh-kengen -t rsacat id_rsa.pub >> authorized_keys
通过scp 命令将公钥复制到对应机器例：将 hadoopmaster 公钥复制到 hadoopslave1 上面cd ~/.ssh/cat id_rsa.pub root@192.168.5.181:~/.ssh/id_rsa_master.pub将复制过来的公钥追加至 authorized_keys 即可cat id_rsa_master.pub >> authorized_keys
4、Java 安装与配置cd /mkdir datacd datamkdir jdk假如提示 wget 找不到执行：yum install wget -y
解压安装：tar -zxvf jdk-8u161-linux-x64.tar.gz -C ./jdk
配置 java 环境变量：vim /etc/profile#壁虎漫步JDK相关配置export JAVA_HOME=/data/jdk/jdk1.8.0_161export PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:${JAVA_HOME}/jreexport PATH=${JAVA_HOME}/bin:$PATHsource /etc/profilejava -version
组网环境内的机器以同上的方法安装即可.
5、Hadoop 安装与配置cd /datamkdir hadoop
解压安装：tar -zxvf hadoop-2.8.3.tar.gz -C ./hadoop
配置 hadoop Linux 环境变量：vim /etc/profile#hadoop相关配置export HADOOP_HOME=/data/hadoop/hadoop-2.8.3export PATH=$PATH:$HADOOP_HOME/binexport PATH=$PATH:$HADOOP_HOME/sbinexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"source /etc/profile
配置 hadoop 环境变量：cd /data/hadoop/hadoop-2.8.3/etc/hadoopvim hadoop-env.sh#export JAVA_HOME=${JAVA_HOME}export JAVA_HOME=/data/jdk/jdk1.8.0_161
配置 core-site.xml：cd /data/hadoop/hadoop-2.8.3/etc/hadoopvim core-site.xml<configuration> <property>  <name>hadoop.tmp.dir</name> <value>file://data/hadoop/hadoop-2.8.3/dfs/tmp</value> </property> <property>  <name>fs.defaultFS</name> <value>hdfs://hadoopmaster:9000</value> </property> <property> <name>fs.default.name</name> <value>hdfs://hadoopmaster:9000</value> </property></configuration>
配置 hdfs-site.xml：cd /data/hadoop/hadoop-2.8.3/etc/hadoopvim hdfs-site.xml<configuration> <property>  <name>dfs.replication</name> <value>1</value> </property> <property>  <name>dfs.namenode.name.dir</name> <value>file:/data/hadoop/hadoop-2.8.3/dfs/name</value> </property> <property>  <name>dfs.datanode.data.dir</name> <value>file:/data/hadoop/hadoop-2.8.3/dfs/data</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoopmaster:50090</value> </property> </configuration>
上述配置三台配置一样即可.
配置 hadoopmaster 下的 slavescd /data/hadoop/hadoop-2.8.3/etc/hadoopvim slaveshadoopslave1hadoopslave2
配置完毕！
格式化HDFS:配置完分布式信息后，需格式化HDFShadoop namenode -formathdfs namenode -format
格式化操作，仅对namenode有效，对其它节点无效。格式化成功，并且状态码为0，说明Hadoop集群配置有效。
启动/停止Hadoop：start-dfs.shstop-dfs.sh
查看 hdfs 下面的文件hdfs dfs -ls /
上传文件至 hdfs 上hdfs dfs -put yum.log hdfs://hadoopmaster:9000/
HDFS 授权：hdfs dfs -chmod -R 777 /