发布日期:2015-12-07 09:16 来源: 标签: 云计算与大数据 Hadoop教程 Hadoop安装与使用 海量数据
本章节的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会,比如在HDFS上运行示例程序或简单作业等。
支持平台 
1)GNU/Linux 是产品开发和运行的平台。 Hadoop 已在有2000 个节点的 GNU/Linux主机组成的集群系统上得到验证。 
2)Win32 平台是作为开发平台支持的。由于分布式操作尚未在Win32 平台上充分测试,所以还不作为一个生产平台被支持。

所需软件 
Linux 和 Windows 所需软件包括: 
1. Sun JavaTM 1.6.x,必须安装。 
2. ssh 必须安装并且保证 sshd一直运行,以便用Hadoop 脚本管理远端Hadoop守护进程。 

安装软件 
如果你的集群尚未安装所需软件,你得首先安装它们。 
以Linux 为例: 
$ sudo apt-get install ssh 
$ sudo apt-get install rsync 

下载 
为了获取Hadoop的发行版,从Apache的某个镜像服务器上下载最近的 稳定发行版。 
下载地址:http://mirror.bjtu.edu.cn/apache/hadoop/common/stable/ 

相关评论

专题信息
    Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。Hadoop框架中最核心的设计就是:MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的,简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。本教程对Hadoop做了详解的介绍与讲解,教程中的实例能让大家更快的学习Hadoop,望大家多多支持中国站长网络学院。