发布日期:2015-12-07 13:36 来源: 标签: 云计算与大数据 Hadoop教程 FSShell命令 海量数据
本章我们主要学习FSShell命令的使用及常用的FSShell命令有哪些?下面我们就做一下具体讲解,希望大家多多支持中国站长网络学院。
fs(FSShell命令) 
用法:hadoop fs[GENERIC_OPTIONS][COMMAND_OPTIONS]运行一个常规的文件系统客户端。  
各种命令选项可以参考下面的 Hadoop Shell 命令指南
FSShell命令指南  
调用文件系统(FS)Shell命令应使用 bin/hadoop fs<args>的形式。所有的的 FSshell命令使用 URI 路径作为参数。URI 格式是 scheme://authority/path。对 HDFS 文件系统,scheme是 hdfs,对本地文件系统,scheme 是file。其中 scheme和 authority 参数都是可选的,如果未加指定,就会使用配置中指定的默认 scheme。一个 HDFS文件或目录比如/parent/child 可以表示成 hdfs://namenode:namenodeport/parent/child,或者更简单的/parent/child(假设你配置文件中的默认值是 namenode:namenodeport)。大多数 FSShell命令的行为和对应的 UnixShell 命令类似,不同之处会在下面介绍各命令使用详情时指出出错信息会输出到stderr,其他信息输出到stdout。  
1)cat  
使用方法:hadoop fs -catURI[URI…]  
将路径指定文件的内容输出到 stdout。  
示例:  
hadoop fs-cat hdfs://host1:port1/file1hdfs://host2:port2/file2  
hadoop fs-cat file:///file3/user/hadoop/file4  
返回值:  
成功返回 0,失败返回-1。  
2)copyFromLocal  
使用方法:hadoop fs -copyFromLocal<localsrc>URI 除了限定源路径是一个本地文件外,和put命令相似。  
3)copyToLocal  
使用方法:hadoop fs -copyToLocal[-ignorecrc][-crc]URI<localdst>  
除了限定目标路径是一个本地文件外,和 get命令类似。  
4)cp  
使用方法:hadoopfs-cpURI[URI…]<dest>  
将文件从源路径复制到目标路径。这个 Hadoop Shell 命令允许有多个源路径,此时目标路径必须是一个目录。  
示例:  
Hadoopfs –cp /user/hadoop/file1/user/hadoop/file2  
hadoopfs –cp /user/hadoop/file1/user/hadoop/file2/user/hadoop/dir  
返回值:  
成功返回 0,失败返回-1。  
5)du  
使用方法:hadoop fs –du URI[URI…]  
此Hadoop Shell命令显示目录中所有文件的大小,或者当只指定一个文件时,显示此文件的大小。  
示例:  
Hadoop fs –du  
/user/hadoop/dir1/user/hadoop/file1hdfs://host:port/user/hadoop/dir1  
返回值: 
成功返回 0,失败返回-1。  
6)dus  
使用方法:hadoop fs -dus<args>  
显示文件的大小。  
7)expunge  
使用方法:hadoop fs -expunge  
清空回收站。请参考 HDFS 设计文档以获取更多关于回收站特性的信息。  
8)get  
使用方法:hadoop fs -get[-ignorecrc][-crc]<src><localdst>  
复制文件到本地文件系统。可用-ignorecrc 选项复制 CRC 校验失败的文件。使用-crc选项 
复制文件以及 CRC 信息。  
示例:  
hadoop fs –get /user/hadoop/filelocalfile  
hadoop fs –get hdfs://host:port/user/hadoop/filelocalfile  
返回值:  
成功返回 0,失败返回-1。Hadoop Shell命令还有很多,这里只介绍了其中的一部分。   

相关评论

专题信息
    Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。Hadoop框架中最核心的设计就是:MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的,简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。本教程对Hadoop做了详解的介绍与讲解,教程中的实例能让大家更快的学习Hadoop,望大家多多支持中国站长网络学院。