FS Shell命令

大数据

HDFS命令基本格式

1. hadoop fs -cmd args
2. hdfs dfs -cmd args

cat

 hadoop fs -cat URI [URI .....] 

将路径指定文件的内容输出到stdout。

示例
+ hadoop fs -cat hdfs://192.168.17.128:9000/opt/learning/file.txt
+ hadoop fs -cat /opt/learning/file.txt

ls命令

 hadoop fs -ls /

列出 hdfs文件系统根目录下的目录和文件

 hadoop fs -ls -R / 

列出hdfs文件系统所有的目录和文件

 hadoop fs -ls -R /opt/learning/ 

列出hdfs文件系统在/opt/learning目录下的子目录和文件。

cp命令

 hadoop fs -cp URI [URI …] dest `

将文件从源路径复制到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。

du命令

 hadoop fs -du URI [URI.....] 

显示目录所有文件的大小，或者当只指定一个文件时，显示此文件的大小

get

 hadoop fs -get [-ignorecrc] < hdfs file > < local file or dir > 

复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。

mkdir

 hadoop fs -mkdir < hdfs path > 

只能一级一级的建目录，父目录不存在的话使用这个命令会报错

 hadoop fs -mkdir -p < hdfs path > 

所创建的目录如果父目录不存在就创建该父目录。

put

用法：

 hadoop fs -put < localsrc > ... < dst > 

从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从标准输入中读取输入写入目标文件系统。

示例：

 hadoop fs -put localfile /user/hadoop/hadoopfile 

复制本地文件 localfile内容到hadoop文件系统“/usr/hadoop/hadoopfile”文件中。hdfs file的父目录一定要存在，否则命令不执行。

 hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir

复制本地文件localfile1、localFile2到hdfs文件系统“/user/hadoop/hadoopdir”目录下。/user/hadoop/hadoopdir目录一定要存在，否则命令不会执行。

hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile

复制本地文件localfile到host:port对应的hdfs文件系统下的“hadoop/hadoopfile”文件里。

 hadoop fs -put - < hdsf  file> 

从键盘读取输入到hdfs file中，按ctrl+c结束输入，hdfs file不能存在，否则会提示“file exists”。

rm

hadoop fs -rm < hdfs file > 
hadoop fs -rm -r <hdfs dir>

每次可以删除多个文件或目录

tail

 hadoop fs -tail [-f] URI

与unix tail命令一样。

count 命令

 hadoop fs -count < hdfs path >

统计hdfs对应路径下的目录个数，文件个数，文件总计大小。
显示为目录个数，文件个数，文件总计大小，输入路径。

getmerge

hadoop fs -getmerge < hdfs dir > < local file > 

将hdfs指定目录下所有文件排序后合并到local指定的文件中，文件不存在时会自动创建，文件存在时会覆盖里面的内容。

 hadoop fs -germerge -nl < hdfs dir > < local file > 

加上nl后，合并到local file中的hdfs文件之间会空出一行。

mv命令

hadoops fs -mv < hdfs file > < hdfs file >

将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。

** 示例：**

hadoop fs -mv /user/hadoop/file1  /user/hadoop/file2
hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1

更多命令

1. HDFS 常用文件操作命令
2. Hadoop Shell命令