hadoop,
1.在hadoop的配置文件会出现,64位和32位不可以的WARNING的提示,是可以忽略的。
2.要关闭防火墙
我们可以使用以下命令:
#/sbin/iptables -I INPUT -p tcp --dport 80 -j ACCEPT
#/sbin/iptables -I INPUT -p tcp --dport 22 -j ACCEPT
#/etc/rc.d/init.d/iptables save
重启计算机后,防火墙默认已经开放了80和22两个端口。
临时性的完全关闭防火墙,可以不重启机器:
#/etc/init.d/iptables status ##查看防火墙状态
#/etc/init.d/iptable stop ##本次关闭防火墙
#/etc/init.d/iptable restart ##重启防火墙
永久性关闭防火墙:
#chkconfig --level 35 iptables off (注意中间的是两个英式小短线;重启)
置防火墙开放端口的方法如下:
vi /etc/sysconfig/iptables
修改防火墙时注意最好留下VNC和SSH的管理端口。
下面是一个iptables的示例:
# Firewall configuration written by system-config-securitylevel
# Manual customization of this file is not recommended.*filter
:INPUT ACCEPT [0:0]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [0:0]
:RH-Firewall-1-INPUT - [0:0]
-A INPUT -j RH-Firewall-1-INPUT
-A FORWARD -j RH-Firewall-1-INPUT
-A RH-Firewall-1-INPUT -i lo -j ACCEPT
-A RH-Firewall-1-INPUT -p icmp –icmp-type any -j ACCEPT
-A RH-Firewall-1-INPUT -p 50 -j ACCEPT
-A RH-Firewall-1-INPUT -p 51 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state ESTABLISHED,RELATED -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 53 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m udp -p udp –dport 53 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 22 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 25 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 80 -j ACCEPT
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 443 -j ACCEPT
-A RH-Firewall-1-INPUT -j REJECT –reject-with icmp-host-prohibited
COMMIT
要根据自己需求情况来修改这个文件,举例来说,如果你不希望开放80端口提供web服务,那么应该相应的删除这一行:
-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 80 -j ACCEPT
全部修改完之后重启iptables:
service iptables restart
你可以验证一下是否规则都已经生效:iptables -L
这样,我们就完成了CentOS防火墙的设置修改。
3.hdfs dfsadmin-safemode leave
处于safemode的集群是无法接收任何写操作的,包括创建目录、删除文件、修改文件、上传文件等等。
关于safemode,在http://www.iteblog.com/archives/977中讲的比较详细了。hdfs集群在启动和关闭的时候一般会有一段时间处于safemode,如果集群中出现了大量的block副本数量低于配置的副本数据量(这个副本数量的配置并不一定是在hdfs的配置文件中配的,配置文件中的只是默认值,在创建文件的时候,客户端可以给文件指定一个副本数量),或者有大量的节点出现故障时,集群可能会长时间处于safemode不能自拔。
出现以上情况就需要去检查集群或者文件是否除了故障。
有时候管理员也会强制集群进入safemode。可以通过hdfs dfsadmin -safemode leave退出
dfs.hosts
文件完整路径:列出了允许连入NameNode的datanode清单(IP或者机器名)
dfs.hosts.exclude
文件完整路径:列出了禁止连入NameNode的datanode清单(IP或者机器名)
hadoop dfsadmin -refreshNodes
这个命令可以动态刷新dfs.hosts和dfs.hosts.exclude配置,无需重启NameNode。
使用这个命令可以很方便的退役一批datanode:
1. 需要退役的机器列表加入dfs.hosts.exclude文件
2. hadoop dfsadmin -refreshNodes
3. 等待一段时间,这些datanode的状态由in service->Decommission
4. dfs.hosts文件剔除这批datanode
5. hadoop dfsadmin -refreshNodes