发布日期:2015-12-07 09:50 来源: 标签: 云计算与大数据 Hadoop教程 Hadoop的Master(85)配置 海量数据
本章我们主要学习Hadoop中Master(85)配置文件core-site.xml、hdfs-site.xml及mapred-site.xml,下面我们就做一下具体讲解,希望大家多多支持中国站长网络学院。
Master(85)配置
85 为master 结点,则85 的配置文件如下: 
hadoop在 0.20 版本,配置文件由以前的hadoop-site.xml文件变成三个配置文件core-site.xml,hdfs- site.xml,mapred-site.xml。内在的原因是因为hadoop代码量越来越宠大,拆解成三个大的分支进行独立开发,配置文件也独立了。
下面是三个配置文件示例:
[root@192.168.10.85 conf]# cat core-site.xml  
<?xml version="1.0"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
<!-- Put site-specific property overrides in this file. --> 
<configuration> 
<property> 
<name>fs.default.name</name> 
<value>hdfs://192.168.168.85:9000</value> 
</property> 
</configuration> 

[root@192.168.10.85 conf]# cat hdfs-site.xml 
<?xml version="1.0"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
<!-- Put site-specific property overrides in this file. --> 
<configuration> 
<property> 
<name>dfs.replication</name> 
<value>3</value>  
description>Default block replication.  
The actual number of replications can be specified when the file is created. 
The default is used if replication is not specified in create time. 
</description> 
</property> 
</configuration> 

[root@192.168.10.85 conf]# cat mapred-site.xml 
<?xml version="1.0"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
<!-- Put site-specific property overrides in this file. --> 
<configuration> 
<property> 
<name>mapred.job.tracker</name> 
<value>192.168.168.85:9001</value> 
</property> 
</configuration> 
设置系统环境,以方便执行hadoop命令 
在/home/hadoop/  .bashrc加入 
export HADOOP_HOME=/root/hadoop/hadoop 
export HADOOP_CONF_DIR=$HADOOP_HOME/conf 
export PATH=/root/hadoop/hadoop/bin:$PATH 

相关评论

专题信息
    Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。Hadoop框架中最核心的设计就是:MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的,简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。本教程对Hadoop做了详解的介绍与讲解,教程中的实例能让大家更快的学习Hadoop,望大家多多支持中国站长网络学院。