发布日期:2015-12-07 11:04 来源: 标签: 云计算与大数据 Hadoop教程 Map-reduce状态界面 海量数据
本章我们主要学习Map-reduce运行状态界面及直接命令行和运行进程查看,下面我们就做一下具体讲解,希望大家多多支持中国站长网络学院。
Map-reduce的运行状态界面 
查看 map-reduce 信息,可以通过web 界面来访问: http://192.168.10.85:50030/jobtracker.jsp 

直接的命令行查看 
下面是直接命令行看到的结果。 
[root@192.168.10.85 ~]# hadoop dfsadmin  -report  
Configured Capacity: 291104653312 (271.11 GB)  
Present Capacity: 74432905216 (69.32 GB)  
DFS Remaining: 74432823296 (69.32 GB)  
DFS Used: 81920 (80 KB)  
DFS Used%: 0%  
Under replicated blocks: 1  
Blocks with corrupt replicas: 0  
Missing blocks: 0  
-------------------------------------------------  
Datanodes available: 2 (2 total, 0 dead)  
Name: 192.168.10.160:50010  
Decommission Status : Normal  
Configured Capacity: 37169479680 (34.62 GB)  
DFS Used: 36864 (36 KB)  
Non DFS Used: 30097534976 (28.03 GB)  
DFS Remaining: 7071907840(6.59 GB)  
DFS Used%: 0%  
DFS Remaining%: 19.03%  
Last contact: Fri Jul 22 15:16:36 CST 2011  

Name: 192.168.10.245:50010  
Decommission Status : Normal  
Configured Capacity: 253935173632 (236.5 GB)  
DFS Used: 45056 (44 KB)  
Non DFS Used: 186574213120 (173.76 GB)  
DFS Remaining: 67360915456(62.73 GB)  
DFS Used%: 0%  
DFS Remaining%: 26.53%  
Last contact: Fri Jul 22 15:16:37 CST 2011  

运行的进程查看 
在master机器上通过ps命令查看,可以看到namenode/secondarynamenode/jobtracker在运行,如下:[hadoop@TEST085 hadoop-0.20.203.0]$ ps uax |grep ha 
hadoop   27440  0.9  5.8 1195576 59428 pts/0 S    14:40   0:05  
/usr/local/java/bin/java -Dproc_namenode -Xmx1000m  
-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote  
-Dhadoop.log.dir=/home/hadoop/hadoop-0.20.203.0/bin/../logs  
-Dhadoop.log.file=hadoop-hadoop-namenode-TEST085.log  
-Dhadoop.home.dir=/home/hadoop/  

hadoop   17840  0.5  3.5 1185092 36196 ?     S    14:40   0:03  
/usr/local/java/bin/java -Dproc_secondarynamenode -Xmx1000m  
-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote  
-Dhadoop.log.dir=/home/hadoop/hadoop-0.20.203.0/bin/../logs  
-Dhadoop.log.file=hadoop-hadoop-secondarynamenode-TEST085.log -Dhadoop.home  

hadoop   18435  0.9  4.2 1199836 42744 pts/0 S    14:40   0:05  
/usr/local/java/bin/java -Dproc_jobtracker -Xmx1000m  
-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote  
-Dhadoop.log.dir=/home/hadoop/hadoop-0.20.203.0/bin/../logs  
-Dhadoop.log.file=hadoop-hadoop-jobtracker-TEST085.log  
-Dhadoop.home.dir=/home/had  

[hadoop@TEST085 hadoop-0.20.203.0]$ netstat -ant |grep 900  
tcp        0      0 192.168.10.85:9000          0.0.0.0:*                    
LISTEN        
tcp        0      0 192.168.10.85:9001          0.0.0.0:*                    
LISTEN        
tcp        0      0 192.168.10.85:9000          192.168.10.245:64074         
ESTABLISHED   
tcp        0      0 192.168.10.85:9001          192.168.10.245:5956          
ESTABLISHED   
tcp        0      0 192.168.10.85:9000          192.168.10.85:49534          
ESTABLISHED   
tcp        0      0 192.168.10.85:49534         192.168.10.85:9000           
ESTABLISHED   
tcp        0      0 192.168.10.85:9000          192.168.10.160:34921         
ESTABLISHED   
tcp        0      0 192.168.10.85:9001          192.168.10.160:34926         
ESTABLISHED  
在 slaves 机器上通过 ps 命令可以看到 datanode 和tasktracher 的进程在运行。 
[hadoop@DBSERVER /]$ ps aux |grep ha 
hadoop   11127  1.3  6.4 1179584 32656 ?     S    14:41   0:04  
/usr/local/java/bin/java -Dproc_datanode -Xmx1000m -server  
-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote  
-Dhadoop.log.dir=/home/hadoop/hadoop-0.20.203.0/bin/../logs  
-Dhadoop.log.file=hadoop-hadoop-datanode-DBSERVER.log -Dhadoop.home.dir=/hom  

hadoop   11215  0.8  7.0 1188132 35660 ?     S    14:42   0:02  
/usr/local/java/bin/java -Dproc_tasktracker -Xmx1000m  
-Dhadoop.log.dir=/home/hadoop/hadoop-0.20.203.0/bin/../logs  
-Dhadoop.log.file=hadoop-hadoop-tasktracker-DBSERVER.log  
-Dhadoop.home.dir=/home/hadoop/hadoop-0.20.203.0/bin/.. -Dhadoop.id.str=hadoop  
-Dhadoo  

[hadoop@DBSERVER /]$ netstat -ant |grep 900  
tcp        0      0 192.168.10.160:34921    192.168.10.85:9000      ESTABLISHED   
tcp        0      0 192.168.10.160:34926    192.168.10.85:9001      ESTABLISHED  

相关评论

专题信息
    Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。Hadoop框架中最核心的设计就是:MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的,简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。本教程对Hadoop做了详解的介绍与讲解,教程中的实例能让大家更快的学习Hadoop,望大家多多支持中国站长网络学院。