发布日期:2015-12-07 13:14 来源: 标签: 云计算与大数据 Hadoop教程 archive用户命令 distcp用户命令
所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。 Hadoop有一个选项解析框架用于解析一般的选项和运行类。 本章我们主要学习archive和distcp用户命令,下面我们就做一下具体讲解,希望大家多多支持中国站长网络学院。
Hadoop的命令 
所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。 
用法:hadoop[--configconfdir][COMMAND][GENERIC_OPTIONS][COMMAND_OPTIONS] 
Hadoop有一个选项解析框架用于解析一般的选项和运行类。 
命令选项描述 
--configconfdir覆盖缺省配置目录。缺省是${HADOOP_HOME}/conf。 
GENERIC_OPTIONS多个命令都支持的通用选项。 
COMMAND 
命令选项S各种各样的命令和它们的选项会在下面提到。这些命令被分为用户命令管理命令两组。
Hadoop命令常规选项 
下面的选项被 dfsadmin,fs,fsck 和job 支持。应用程序要实现 Tool 来支持常规选项。  
GENERIC_OPTION描述  

hadoop集群用户的常用命令 
1、archive 
创建一个 hadoop 档案文件。参考 HadoopArchives.  
用法:hadoop archive-archiveNameNAME<src>*<dest>命令选项描述  
-archiveNameNAME 要创建的档案的名字。  
src文件系统的路径名,和通常含正则表达的一样。  
dest保存档案文件的目标目录。 
2、distcp 
Hadoop 命令distcp 用于递归地拷贝文件或目录。参考 DistCp 指南以获取等多信息。  
用法:hadoop distcp<srcurl><desturl>命令选项描述  
srcurl源 Url  
desturl 目标 Url   

相关评论

专题信息
    Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。Hadoop框架中最核心的设计就是:MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的,简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。本教程对Hadoop做了详解的介绍与讲解,教程中的实例能让大家更快的学习Hadoop,望大家多多支持中国站长网络学院。