Cloudera下实现Hadoop方案规划

开发 架构 Hadoop
Hadoop相信大家应该有所耳闻,那么关于Hadoop的实现你知道吗,这里就向大家介绍一下如何利用Cloudera实现Hadoop,欢迎大家一起来学习实现Hadoop方面的内容。

本节向大家介绍一下利用Cloudera 实现Hadoop 的方法,这里主要介绍一下Hadoop的概念和利用Cloudera 实现 Hadoop 的规划,希望通过本节的介绍大家对利用Cloudera 实现Hadoop 有一定的认识。

利用 Cloudera 实现Hadoop

前言

Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架。MapReduce的概念来源于Google实验室,它是一个简化并行计算的编程模型,适用于大规模集群上的海量数据处理,目前最成功的应用是分布式搜索引擎。随着2007年底该模式Java开源实现项目Apache Hadoop的出现,使得程序员可以轻松地编写分布式并行程序,并将其运行于计算机集群上,完成海量数据的计算。近两年尤其是今年国内外采用 MapReduce模型的应用也逐渐丰富起来,如像NTT KDDI和中国移动这类的电信公司采用该模型分析用户信息,优化网络配置;美国供电局采用该模型来分析电网现状;包括VISA和JP摩根在内的金融公司采用该模型来分析股票数据;包括Amazon和ebay在内的零售商和电子商务公司也开始采用该模型;甚至部分生物公司也采用该模型来进行DNA测序和分析。然而Hadoop安装、部署、管理的难度非常大,这使用很多用户对Hadoop望而却步,好在这种情况不久就得到了改善,Cloudera提供了非常简单的Hadoop的发布版本,能够十分方便地对Hadoop进行安装、部署和管理,这导致目前大约有75%的Hadoop新用户使用Cloudera。下面是利用Cloudera 实现Hadoop 的具体规划。

规划

运行模式

Hadoop有三种运行模式:单机(非分布)运行模式、伪分布运行模式和分布式运行模式。其中前两种运行模式体现不了 Hadoop 分布式计算的优势,并没有什么实际意义(当然它们对程序的测试及调试还是很有帮助的),因此在这里还是采用实际环境中使用的分布式运行模式来部署。

主机规划

在这里拟采用三台主机搭建Hadoop环境,由于后期还需要测试增删主机及跨网段主机对Hadoop环境的影响,特将Hadoop主机规划如下:Hadoop-01 10.137.253.201Hadoop-02 10.137.253.202Hadoop-03 10.137.253.203 准备后期加入的测试主机Hadoop-04 10.137.253.204Firehare-303 10.10.3.30  准备后期加入的跨网段测试主机

Hadoop环境规划

对于Hadoop来说,最主要的是两个内容,一是分布式文件系统HDFS,一是MapReduce计算模型。在分布式文件系统HDFS看来,节点分为NameNode 和DataNode,其中NameNode只有一个,DataNode可以是很多;在MapReduce计算模型看来,节点又可分为JobTracker 和 TaskTracker,其中JobTracker只有一个,TaskTracker可以是很多。因此在实际的Hadoop环境中通常有两台主节点,一台作为NameNode(I/O节点??),一台作为JobTracker(管理节点??),剩下的都是从节点,同时当做DataNode和 TaskTracker使用。当然也可以将NameNode和JobTracker安装在一台主节点上。由于测试机数量有限,所以在这里是让 Hadoop-01做为Namenode和Jobtracker,其它主机则作为DataNode和TaskTracker(如果Hadoop环境中主机数量很多的话,还是建议将Namenode和JobTracker部署到不同的主机,以提高计算的性能)。本节关于利用Cloudera 实现Hadoop 的规划介绍完毕,请关注下节Hadoop安装。
 

【编辑推荐】

  1. Windows下轻松实现Hadoop开发环境安全配置
  2. 轻松实现Hadoop Hdfs配置
  3. 专家讲解 Hadoop:HBASE松散数据存储设计
  4. 两种模式运行Hadoop分布式并行程序
  5. Hadoop应用之Hadoop安装篇
责任编辑:佚名 来源: blogbus.com
相关推荐

2010-06-04 16:47:49

实现Hadoop

2010-06-04 17:03:17

实现Hadoop

2014-04-09 10:55:55

Cloudera\Sp

2013-11-05 09:27:27

ClouderaHadoop数据解决方案

2013-07-19 09:43:16

2018-04-08 15:32:47

Hadoop大数据Gartner

2016-02-01 15:32:03

HadoopCloudera

2012-10-29 09:55:52

HadoopImpalaDremel

2011-10-19 09:35:36

Hadoop数据集群

2012-11-01 10:01:56

HadoopClouderaImpala

2021-06-02 00:22:04

ClouderaHadoop私有化

2014-10-28 09:56:56

Hadoop

2015-02-05 10:01:11

ClouderaHadoop

2013-05-27 14:19:39

Hadoop

2014-02-14 16:06:05

ImpalaCloudera

2009-03-24 14:18:34

LinuxClouderaHadoop

2018-10-12 14:01:14

2010-06-04 14:28:01

Hadoop开发环境

2010-06-07 09:39:38

Hadoop云计算

2014-01-07 17:36:37

Impala
点赞
收藏

51CTO技术栈公众号