大数据

HDFS，是一种常用的分布式文件操作系统，要使用大数据，我们需要非常熟悉HDFS客户端操作，下面，我们一起来看下哦!

1. 查看hdfs中的目录和文件信息

hdfs fs -ls /hdfs路径

如：hdfs fs -ls /aaa/xxx/

hdfs fs -ls -R / #递归显示指定位置下的所有文件和文件夹

2. 上传文件到hdfs中

(1)hdfs fs -put test.txt /

(2)hdfs fs -copyFromLocal test.txt /test.txt.2

同时,在上传文件时，可以进行重命名。

(3)hdfs fs -moveFromLocal /本地文件 /hdfs路径

说明：使用最多的是put命令

3. 下载文件到客户端本地磁盘

hdfs fs -get /hdfs中的路径 /本地磁盘目录

hdfs fs -copyToLocal /hdfs中的路径 /本地磁盘路径 # 与get等价

如：

hdfs fs -get /test.txt.2

hdfs fs -copyToLocal /test.txt.2

其中，使用最多的就是get命令

4. 在hdfs中创建文件夹

hdfs fs -mkdir /aaa

hdfs fs -mkdir -p /bbb/xxx # 创建层级目录结构

hdfs fs -mkdir /{aa,bb} #同时创建多个目录

5. 拷贝文件

hdfs fs -cp /test.txt /bbb/

6. 移动hdfs中的文件(或更名)

hdfs fs -mv /test.txt.2 /test.txt.3

hdfs fs -mv /test.txt.3 /bbb/test.txt.4

7. 删除hdfs中的文件或文件夹

hdfs fs -rm -r /aaa

8. 追加内容到已存在的文件

hdfs fs -appendToFile /本地文件 /hdfs中的文件

9. 显示文本文件的内容

hdfs fs -cat /test.txt

hdfs fs -tail /test.txt #显示文件末尾

10. 下载多个文件在本地生成一个合并文件

hdfs fs -getmerge /test/*.dat ./xx.dat

11. 修改文件的权限

hdfs fs -chown user:group /aaa

hdfs fs -chmod 700 /aaa