hadoop学习笔记 hadoop的配置，
配置hadoop
1、standlone(local) 独立/本地模式，使用本地文件管理系统
hadoop fs -ls
未启用任何进程 jps用于测试和开发模式
2、pseudodistributed mode 伪分布式模式，启动所有进程，但是只有一个节点
cd etc/hadoop 下core-site.xml , hdfs-site.xml , mapred-site,yarn-site.xml
a 、core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost/</value> 默认端口8020
</property>
</configuration>
b、hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>//文件副本数
<value>1</value>
</property>
</configuration>
c、mapred-site.xml 目录下无此文件 copymapred-site.xml.template 重命名为此文件
<configuration>
<property>
<name>mapreduce.framework.name</name> 数据运算框架名称
<value>yarn</value>
</property>
</configuration>
d、yarn-site.xml 资源调用框架
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>//资源管理主机名
<value>localhsot</value>
</property>
<property>
<name>yarn,nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
e、配置SSH 安全登录，NN目录节点需要启动远程远程主机的进程，而进程需要登录，所以需要配置SSH，进行无秘登录
1、安装ssh sudo apt-get install ssh
2、生成密钥对 ssh-keygen(生成密钥) -t rsa(加密方式) -P ''（密码） -f ~/.ssh/id_rsa (保存位置)
3、将生成的公钥保存到授权库中 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
4、登录到localhost
ssh localhost yes exit ssh localhost --不需要密码
5、格式化hdfs文件系统
hadoop namenode -format
6、启动所有进程
start-all.sh
7、查看所有进程 jps RM NM NN DN 2NN
8、查看文件管理系统
hadoop fs -ls
9、创建资源文件目录
hadoop fs -mkdir -p /user/ubuntu/data
hadoop fs -lsr /
Hadoop 进程处理
a、jps 查看所有进程（5个）
RM
NM
NN
DN
2NN
b、如果进程数不对杀死所有进程
stop-all.sh
c、重新格式化
hadoop fs -format
d、启动所有进程
start-all.sh
e、查看进程jps.
netstat -ano | more 查看本机所有的端口号。0.0.0.0 表示通配网卡上的所有ip.
1、使用webui 访问hadoop的hdfs
http://localhost:50070
2、查看数据节点 50075
3、2NN 50090