欢迎投稿

今日深度:

hadoop,

hadoop,


1.在hadoop的配置文件会出现,64位和32位不可以的WARNING的提示,是可以忽略的。

2.要关闭防火墙

我们可以使用以下命令:

  #/sbin/iptables -I INPUT -p tcp --dport 80 -j ACCEPT

  #/sbin/iptables -I INPUT -p tcp --dport 22 -j ACCEPT

  #/etc/rc.d/init.d/iptables save

  重启计算机后,防火墙默认已经开放了80和22两个端口。
 

  临时性的完全关闭防火墙,可以不重启机器:

  #/etc/init.d/iptables status ##查看防火墙状态

  #/etc/init.d/iptable stop ##本次关闭防火墙

  #/etc/init.d/iptable restart ##重启防火墙
 

  永久性关闭防火墙:

  #chkconfig --level 35 iptables off (注意中间的是两个英式小短线;重启)

置防火墙开放端口的方法如下:

  vi /etc/sysconfig/iptables

  修改防火墙时注意最好留下VNC和SSH的管理端口。
 

  下面是一个iptables的示例:

  # Firewall configuration written by system-config-securitylevel

  # Manual customization of this file is not recommended.*filter

  :INPUT ACCEPT [0:0]

  :FORWARD ACCEPT [0:0]

  :OUTPUT ACCEPT [0:0]

  :RH-Firewall-1-INPUT - [0:0]

  -A INPUT -j RH-Firewall-1-INPUT

  -A FORWARD -j RH-Firewall-1-INPUT

  -A RH-Firewall-1-INPUT -i lo -j ACCEPT

  -A RH-Firewall-1-INPUT -p icmp –icmp-type any -j ACCEPT

  -A RH-Firewall-1-INPUT -p 50 -j ACCEPT

  -A RH-Firewall-1-INPUT -p 51 -j ACCEPT

  -A RH-Firewall-1-INPUT -m state –state ESTABLISHED,RELATED -j ACCEPT

  -A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 53 -j ACCEPT

  -A RH-Firewall-1-INPUT -m state –state NEW -m udp -p udp –dport 53 -j ACCEPT

  -A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 22 -j ACCEPT

  -A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 25 -j ACCEPT

  -A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 80 -j ACCEPT

  -A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 443 -j ACCEPT

  -A RH-Firewall-1-INPUT -j REJECT –reject-with icmp-host-prohibited

  COMMIT
 

  要根据自己需求情况来修改这个文件,举例来说,如果你不希望开放80端口提供web服务,那么应该相应的删除这一行:

  -A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 80 -j ACCEPT
 

  全部修改完之后重启iptables:

  service iptables restart

  你可以验证一下是否规则都已经生效:iptables -L
 

  这样,我们就完成了CentOS防火墙的设置修改。


3.hdfs dfsadmin-safemode leave

处于safemode的集群是无法接收任何写操作的,包括创建目录、删除文件、修改文件、上传文件等等。

关于safemode,在http://www.iteblog.com/archives/977中讲的比较详细了。hdfs集群在启动和关闭的时候一般会有一段时间处于safemode,如果集群中出现了大量的block副本数量低于配置的副本数据量(这个副本数量的配置并不一定是在hdfs的配置文件中配的,配置文件中的只是默认值,在创建文件的时候,客户端可以给文件指定一个副本数量),或者有大量的节点出现故障时,集群可能会长时间处于safemode不能自拔。

出现以上情况就需要去检查集群或者文件是否除了故障。


有时候管理员也会强制集群进入safemode。可以通过hdfs dfsadmin -safemode leave退出

 dfs.hosts

 

 文件完整路径:列出了允许连入NameNode的datanode清单(IP或者机器名)

 

 dfs.hosts.exclude

 文件完整路径:列出了禁止连入NameNode的datanode清单(IP或者机器名)

 

 hadoop dfsadmin -refreshNodes

 

 这个命令可以动态刷新dfs.hosts和dfs.hosts.exclude配置,无需重启NameNode。

 

 使用这个命令可以很方便的退役一批datanode:

 

 1. 需要退役的机器列表加入dfs.hosts.exclude文件

 

 2. hadoop dfsadmin -refreshNodes

 

 3. 等待一段时间,这些datanode的状态由in service->Decommission

 

 4. dfs.hosts文件剔除这批datanode

 

 5. hadoop dfsadmin -refreshNodes





www.htsjk.Com true http://www.htsjk.com/Hadoop/38064.html NewsArticle hadoop, 1.在hadoop的配置文件会出现,64位和32位不可以的WARNING的提示,是可以忽略的。 2.要关闭防火墙 我们可以使用以下命令: #/sbin/iptables -I INPUT -p tcp --dport 80 -j ACCEPT #/sbin/iptables -I...
相关文章
    暂无相关文章
评论暂时关闭