Spark学习笔记(六) HDFS常用命令总结，sparkhdfs

HDFS常用命令总结

• 1. 目录和文件管理
• 1.1 创建目录 -mkdir
• 1.2 列出目录和文件 -ls
• 1.3 复制本地文件到HDFS -copyFromLocal
• 1.3.1 在winter目录下创建books目录
• 1.3.2 查看刚刚创建的目录
• 1.3.3 复制test3.txt到books目录下
• 1.3.4 同时复制多个文件到HDFS
• 1.4 复制HDFS文件到本地 -copyToLocal
• 1.7 复制HDFS文件 -cp
• 1.8 删除HDFS文件 -rm
• 2. HDFS Web页面浏览HDFS
• 2.1 页面地址
• 2.2 如果没有权限操作文件修改配置文件hdfs-site.xml

1. 目录和文件管理

HDFS的命令和Linux的命令比较相似，所以也比较容易记忆。

1.1 创建目录 -mkdir

新部署的Hadoop的HDFS里是空的，需要创建当前用户权限能访问的目录。

命令	说明
hadoop fs -mkdir /user	在根目录（/）下面创建user目录
hadoop fs -mkdir /user/winter	在user目录下面创建winter目录 ,"winter"为当前系统用户名
hadoop fs -mkdir -p /user/winter	一次性在根目录（/）下创建/user/winter这2个目录

1.2 列出目录和文件 -ls

命令	说明
hadoop fs -ls	列出当前用户目录
hadoop fs -ls /	列出根目录（/）下目录和文件
hadoop fs -ls -R /	递归的列出根目录（/）下所有目录和文件

1.3 复制本地文件到HDFS -copyFromLocal

命令	说明
hadoop fs - copyFromLocal [localsrc] [dst]	复制本地文件到HDFS
hadoop fs - copyFromLocal -f [localsrc] [dst]	强制复制本地文件到HDFS，如果已存在，则直接覆盖

比如本机当前目录下有个文件叫test3.txt，现在需要把它拷到HDFS里的winter目录下的books目录下

1.3.1 在winter目录下创建books目录

hadoop fs -mkdir books

1.3.2 查看刚刚创建的目录

hadoop fs -ls

1.3.3 复制test3.txt到books目录下

hadoop fs -copyFromLocal test3.txt books

如图test3.txt已经复制到HDFS里了。

1.3.4 同时复制多个文件到HDFS

hadoop fs -copyFromLocal test4.txt test5.txt books

1.4 复制HDFS文件到本地 -copyToLocal

hadoop fs -copyToLocal books/test3.txt test7.txt

这个时候查看本机可以发现多了个文件test7.txt

1.7 复制HDFS文件 -cp

hadoop fs -cp books/test3.txt books/test6.txt

1.8 删除HDFS文件 -rm

hadoop fs -rm books/test6.txt

2. HDFS Web页面浏览HDFS

2.1 页面地址

http://localhost:50070
然后打开浏览文件系统

2.2 如果没有权限操作文件修改配置文件hdfs-site.xml

<property>
	<name>dfs.permissions.enabled</name>
	<value>false</value>
</property>
<property>
	<name>dfs.webhdfs.enabled</name>
	<value>true</value>
</property>