发布日期:2015-12-07 09:40 来源: 标签: 云计算与大数据 Hadoop教程 Hadoop安装 海量数据
本章我们主要学习Hadoop软件安装中怎样配置JDK和内存占用?如何修改masters和slaves配置?下面我们就做一下具体讲解,希望大家多多支持中国站长网络学院。
Hadoop软件安装 
以hadoop用户登陆,将安装软件解压到集群内的所有机器上,编辑 conf/hadoop-env.sh文件,至少需要将JAVA_HOME设置为Java安装根路径(安装过程参考第4讲启动Hadoop集群方法下的单机部署-http://edu.cnzz.cn/201512/98714376.shtml”)。 
我们用HADOOP_HOME指定安装的根路径。通常集群里的所有机器的HADOOP_HOME路径相同,安装路径定为:/home/hadoop/hadoop-0.20.203.0 
1) 进行JDK 和内存占用配置: 
conf/hadoop-env.sh 需要修改的内容: 
# The java implementation to use. Required. 
export JAVA_HOME=/usr/local/java --修改成你自己jdk 安装的目录 
# The maximum amount of heap to use, in MB. Default is 1000. 
export HADOOP_HEAPSIZE=200   --根据你的内存大小调整 
2) 修改 masters 和slaves 配置 
修改文件/usr/local/hadoop/conf/slaves及/usr/local/hadoop/conf/masters,把数据节点的主机名加到slaves、名称节点主机名加到masters。可以加多个,每行一个。注意主机名需要在每个服务器的/etc/hosts映射好。 
[hadoop@TEST085 hadoop-0.20.203.0]$ vi conf/slaves 
192.168.10.160 
192.168.10.245 
[hadoop@TEST085 hadoop-0.20.203.0]$ vi conf/master 
 192.168.10.85 

相关评论

专题信息
    Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。Hadoop框架中最核心的设计就是:MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的,简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。本教程对Hadoop做了详解的介绍与讲解,教程中的实例能让大家更快的学习Hadoop,望大家多多支持中国站长网络学院。