1您所在的位置:开发 > 大数据应用 > Hadoop生态系统全面盘点(1)

Hadoop生态系统全面盘点(1)

2013-11-04 16:57 核子可乐译 51CTO 我要评论(0) 字号:T | T
一键收藏,随时查看,分享好友!

Hadoop拥有一个庞大而且充满活力的开发者社区,但Hadoop生态系统当中的很多项目在名称与功能的匹配性方面出入很大,这直接导致很多朋友难以分清各个项目的作用以及使用目的。

AD:

 

Hadoop拥有一个庞大而且充满活力的开发者社区,但Hadoop生态系统当中的很多项目在名称与功能的匹配性方面出入很大,这直接导致很多朋友难以分清各个项目的作用以及使用目的。

作为Hadoop的构建核心,HDFS与MapReduce是无法回避的两大要素。不过开发者及企业做出的大量贡献让Hadoop成为一套更为复杂的平台。生态系统中的一部分项目属于Apache基金会项目(在下图中以‘A’作为标注),另一些则属于具备Apache许可、但却由企业负责运作(在下图中以‘AL’作为标注)的项目。

在今天的文章中,我们将对Hadoop的发展历程做一番回顾,看看如今其阵容之中包含着哪些“猛将”。

  

能做什么: 作为Hadoop的文件系统或者存储机制。

有何帮助: 创建一套重复性、可容错且可扩展的文件系统,旨在处理大型文件。利用数据位置提高MapReduce任务的数据输入性能。

 

能做什么: 一款高度可扩展的数据库。

有何帮助: 允许我们以线性方式对数据库进行扩展。提供可进行调节的数据一致性级别控制。

 

能做什么: 利用HDFS创建高度可扩展性数据库。

有何帮助: 实现高度可扩展特性与随机访问。利用HDFS保障严格的数据一致性。

 

能做什么:帮助分布式节点之间的数据实现同步 。

有何帮助: 对集群中所有节点之间的一致性分布式小规模数据进行维护。



分享到:

网友评论TOP5

查看所有评论(

提交评论

  1. 彻底透视CDN痛点,互联网老兵聊聊CDN的那些事儿!
  2. 3行Python代码完成人脸识别

热点职位

更多>>

热点专题

更多>>

读书

大师品软件——软件之痛与应对之道
这并不是一本传统的技术专著,因为它并没有包含一行代码,而更像是一部技术评论。作者通过幽默诙谐而又不失辛辣的语言,从程序员

51CTO旗下网站

领先的IT技术网站 51CTO 领先的中文存储媒体 WatchStor 中国首个CIO网站 CIOage 中国首家数字医疗网站 HC3i 51CTO学院