发布日期:2015-12-07 13:49 来源: 标签: 云计算与大数据 Hadoop教程 fsck、jar和job命令 海量数据
本章我们主要学习Hadoop中的fsck命令、jar命令和job命令,下面我们就做一下具体讲解,希望大家多多支持中国站长网络学院。
Fsck 
Hadoop 命令主要用来运行 HDFS 文件系统检查工具。参考 Fsck 了解更多。  
用法:hadoop  
fsck[GENERIC_OPTIONS]<path>[-move|-delete|-openforwrite][-files[-blocks[-locations|-racks]]]  
命令选项描述  
<path>检查的起始目录。  
-move 移动受损文件到/lost+found  
-delete 删除受损文件。  
-openforwrite 打印出写打开的文件。  
-files 打印出正被检查的文件。  
-blocks 打印出块信息报告。
-locations打印出每个块的位置信息。  
-racks 打印出 data-node 的网络拓扑结构。  

jar 
Hadoop 命令主要用来运行 jar 文件。用户可以把他们的 MapReduce 代码捆绑到jar文件中,使用这个命令执行。  
用法:hadoop jar<jar>[mainClass]args...  
streaming 作业是通过这个命令执行的。参考 Streamingexamples 中的例子。  
Wordcount 例子也是通过 jar 命令运行的。参考 Wordcountexample。  

job 
用于和 MapReduce 作业交互和命令。  
用法:  
Hadoop  
job[GENERIC_OPTIONS][-submit<job-file>]|[-status<job-id>]|[-counter<job-id><g 
roup-name><counter-name>]|[-kill<job-id>]|[-events<job-id><from-event-#><#-of 
-events>]|[-history[all]<jobOutputDir>]|[-list[all]]|[-kill-task<task-id>]|[- 
fail-task<task-id>]  

命令选项描述  
-submit<job-file>提交作业  
-status<job-id>打印map 和reduce完成百分比和所有计数器。  
-counter<job-id><group-name><counter-name>打印计数器的值。  
-kill<job-id>杀死指定作业。  
-events<job-id><from-event-#><#-of-events>打印给定范围内 jobtracker 接收到的事件细节。  
-history[all]<jobOutputDir>-history<jobOutputDir>打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务,做过的任务尝试等信息可以通过指定[all]选项查看。  
-list[all]-listall 显示所有作业。-list 只显示将要完成的作业。
-kill-task<task-id>杀死任务。被杀死的任务不会不利于失败尝试。  
-fail-task<task-id>使任务失败。被失败的任务会对失败尝试不利。
本节有关 Hadoop命令简单介绍到这里。   

相关评论

专题信息
    Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。Hadoop框架中最核心的设计就是:MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的,简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。本教程对Hadoop做了详解的介绍与讲解,教程中的实例能让大家更快的学习Hadoop,望大家多多支持中国站长网络学院。