发布日期:2015-12-07 10:06 来源: 标签: 云计算与大数据 Hadoop教程 初始化及Hadoop集群启动停止 海量数据
本章我们主要学习如何初始化、启动及停止Hadoop集群?下面我们就做一下具体讲解,希望大家多多支持中国站长网络学院。
初始化文件系统 
初始化 namenode,为 HDFS 作第一次运行的准备。 
$ bin/hadoop namenode –format  
注:一看到format就和磁盘格式化联想到一起,然后这个format是对hdfs来说的,所以有些人害怕真的是格式化自己的文件系统了,其实大可不必担心, namenode format只是初始化一些目录和文件而已。 

启动Hadoop 
在master结点配置用户环境变量,在master结点 192.168.10.85 启动hadoop集群程序,执行bin目录下的start-all.sh 
[hadoop@TEST085 hadoop-0.20.203.0]$ bin/start-all.sh 
starting namenode, logging to 
/home/hadoop/hadoop-0.20.203.0/bin/../logs/hadoop-hadoop-namenode-TEST085.out 
192.168.10.160: starting datanode, logging to 
/home/hadoop/hadoop-0.20.203.0/bin/../logs/hadoop-hadoop-datanode-DBSERVER.out 
192.168.10.245: starting datanode, logging to 
/home/hadoop/hadoop-0.20.203.0/bin/../logs/hadoop-hadoop-datanode-localhost.localdomain.out 
192.168.10.85: starting secondarynamenode, logging to 
/home/hadoop/hadoop-0.20.203.0/bin/../logs/hadoop-hadoop-secondarynamenode-TEST085.out 
starting jobtracker, logging to 
/home/hadoop/hadoop-0.20.203.0/bin/../logs/hadoop-hadoop-jobtracker-TEST085.out 
192.168.10.160: starting tasktracker, logging to 
/home/hadoop/hadoop-0.20.203.0/bin/../logs/hadoop-hadoop-tasktracker-DBSERVER.out 
192.168.10.245: starting tasktracker, logging to 
/home/hadoop/hadoop-0.20.203.0/bin/../logs/hadoop-hadoop-tasktracker-localhost.localdomain.out 
另也可以分步执行: 
第一步启动hdfs; 
[hadoop@TEST085 hadoop-0.20.203.0]$ bin/start-dfs.sh  
starting namenode, logging to  
/home/hadoop/hadoop-0.20.203.0/bin/../logs/hadoop-hadoop-namenode-TEST085.out  
192.168.10.160: starting datanode, logging to  
/home/hadoop/hadoop-0.20.203.0/bin/../logs/hadoop-hadoop-datanode-DBSERVER.out  
192.168.10.245: starting datanode, logging to  
/home/hadoop/hadoop-0.20.203.0/bin/../logs/hadoop-hadoop-datanode-localhost.loc 
aldomain.out  
192.168.10.85: starting secondarynamenode, logging to  
/home/hadoop/hadoop-0.20.203.0/bin/../logs/hadoop-hadoop-secondarynamenode-TEST 
085.out  
第二步启动  map-reduce; 
[hadoop@TEST085 hadoop-0.20.203.0]$  bin/start-mapred.sh  
starting jobtracker, logging to  
/home/hadoop/hadoop-0.20.203.0/bin/../logs/hadoop-hadoop-jobtracker-TEST085.out  
192.168.10.160: starting tasktracker, logging to  
/home/hadoop/hadoop-0.20.203.0/bin/../logs/hadoop-hadoop-tasktracker-DBSERVER.out  
192.168.10.245: starting tasktracker, logging to  
/home/hadoop/hadoop-0.20.203.0/bin/../logs/hadoop-hadoop-tasktracker-localhost. 
localdomain.out  
注:实际应用中NameNode和Jobtrachker不在同一台服务器上,则需要按下面方式进行启动在分配的NameNode上,运行下面的命令启动HDFS: 
$ bin/start-dfs.sh 
bin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上启动DataNode守护进程。 
在分配的JobTracker上,运行下面的命令启动Map/Reduce:$ bin/start-mapred.sh 
bin/start-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上启动TaskTracker守护进程。
 
停止Hadoop 
在分配的NameNode上,执行下面的命令停止HDFS:$ bin/stop-dfs.sh 
bin/stop-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上停止DataNode守护进程。 
在分配的JobTracker上,运行下面的命令停止Map/Reduce:$ bin/stop-mapred.sh 
bin/stop-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上停止TaskTracker守护进程。 



相关评论

专题信息
    Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。Hadoop框架中最核心的设计就是:MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的,简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。本教程对Hadoop做了详解的介绍与讲解,教程中的实例能让大家更快的学习Hadoop,望大家多多支持中国站长网络学院。