发布日期:2015-12-07 14:24 来源: 标签: 云计算与大数据 Hadoop教程 NameNode与JobTracker Master和Slave
NameNode与JobTracker在Hadoop集群中都是唯一的。一旦NameNode与JobTracker有一个瘫痪或者说主master瘫痪,整个Hadoop也就瘫痪了。对于主master的维护工作(如备份、重启等)应该说十分重要。这属于单点故障,我们这在这里主要要解决两个问题:一是数据的备份,二是故障时节点的切换。
NameNode与JobTracker单点故障说明
NameNode与JobTracker在Hadoop集群中都是唯一的。一旦NameNode与JobTracker有一个瘫痪或者说主master瘫痪,整个Hadoop也就瘫痪了。对于主master的维护工作(如备份、重启等)应该说十分重要。这属于单点故障,我们这在这里主要要解决两个问题:一是数据的备份,二是故障时节点的切换。 
1)目前JobTracker在单点故障方面没有做任何工作,所以当发生时,必须人工去切换,并重执行未完成的Job。 
2)NameNode 目前只做了数据备份,也就是配置的SecondaryNameNode,自动切换也没有做,需要自己去实现,当发现NameNode故障后,停止它并启动SecondaryNameNode,然后告诉所有slave连接到新的Master。可以直接使用slave中配置的master的IP,或者使用域名等手段。 

经验总结 
经验总结和注意事项(这部分是我在使用过程中花了一些时间走的弯路): 
1)Master和Slave上的几个conf 配置文件不需要全部同步,如果确定都是通过Master去启动和关闭,那么Slave 机器上的配置不需要去维护。但如果希望在任意一台机器都可以启动和关闭 Hadoop,那么就需要全部保持一致了。 
2)Master和 Slave机器上的/etc/hosts中必须把集群中机器都配置上去,就算在各个配置文件中使用的是 IP。这个吃过不少苦头,原来以为如果配成IP 就不需要去配置 Host,结果发现在执行 Reduce 的时候总是卡住,在拷贝的时候就无法继续下去,不断重试。另外如果集群中如果有两台机器的机器名如果重复也会出现问题。 
3)如果在新增了节点或者删除节点的时候出现了问题,首先就去删除 Slave的hadoop.tmp.dir,然后重新启动试试看,如果还是不行那就干脆把Master的hadoop.tmp.dir删除(意味着 dfs 上的数据也会丢失),如果删除了Master的hadoop.tmp.dir,那么就需要重新namenode –format。 
4)Map 任务个数以及 Reduce 任务个数配置。前面分布式文件系统设计提到一个文件被放入到分布式文件系统中,会被分割成多个 block 放置到每一个的DataNode上,默认 dfs.block.size应该是64M,也就是说如果你放置到HDFS 上的数据小于64,那么将只有一个Block,此时会被放置到某一个DataNode 中,这个可以通过使用命令:hadoop dfsadmin –report就可以看到各个节点存储的情况。也可以直接去某一个 DataNode 查看目录:hadoop.tmp.dir/dfs/data/current就可以看到那些 block 了。Block 的数量将会直接影响到Map 的个数。当然可以通过配置来设定 Map 和 Reduce 的任务个数。Map 的个数通常默认和HDFS 需要处理的blocks 相同。也可以通过配置 Map 的数量或者配置minimum split size 来设定,实际的个数为:max(min(block_size,data/#maps),min_split_size)。
Reduce可以通过这个公式计算: 
0.95*num_nodes*mapred.tasktracker.tasks.maximum。 
总的来说出了问题或者启动的时候最好去看看日志,这样心里有底。 

相关评论

专题信息
    Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。Hadoop框架中最核心的设计就是:MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的,简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。本教程对Hadoop做了详解的介绍与讲解,教程中的实例能让大家更快的学习Hadoop,望大家多多支持中国站长网络学院。