发布日期:2015-12-07 14:50 来源: 标签: 云计算与大数据 Hadoop教程 Hadoop子项目 海量数据
本章我们主要学习Hadoop的几个主要子项目有哪些?下面我们就做一下具体讲解,希望大家多多支持中国站长网络学院。
1)  Hadoop Common:  在0.20 及以前的版本中,包含HDFS、MapReduce和其他项目公共内容,从0.21开始HDFS和MapReduce被分离为独立的子项目,其余内容为Hadoop Common 
2)HDFS: Hadoop  分佈式文件系統  (Distributed File System) -  HDFS (Hadoop Distributed File System) 
3)MapReduce:并行计算框架,0.20 前使用  org.apache.hadoop.mapred 旧接口,0.20 版本开始引入 org.apache.hadoop.mapreduce的新API 
4) HBase:类似Google BigTable的分布式NoSQL列数据库。(HBase和Avro已经于2010年5月成为顶级Apache项目[1]) 
5) Hive:数据仓库工具,由Facebook贡献。 
6) Zookeeper:分布式锁设施,提供类似Google Chubby的功能,由Facebook贡献。 
7) Avro:新的数据序列化格式与传输工具,将逐步取代Hadoop原有的IPC机制。

相关评论

专题信息
    Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。Hadoop框架中最核心的设计就是:MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的,简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。本教程对Hadoop做了详解的介绍与讲解,教程中的实例能让大家更快的学习Hadoop,望大家多多支持中国站长网络学院。