社区编辑申请
注册/登录
Cloudera下实现Hadoop方案规划
开发 架构 Hadoop
Hadoop相信大家应该有所耳闻,那么关于Hadoop的实现你知道吗,这里就向大家介绍一下如何利用Cloudera实现Hadoop,欢迎大家一起来学习实现Hadoop方面的内容。

本节向大家介绍一下利用Cloudera 实现Hadoop 的方法,这里主要介绍一下Hadoop的概念和利用Cloudera 实现 Hadoop 的规划,希望通过本节的介绍大家对利用Cloudera 实现Hadoop 有一定的认识。

利用 Cloudera 实现Hadoop

前言

Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架。MapReduce的概念来源于Google实验室,它是一个简化并行计算的编程模型,适用于大规模集群上的海量数据处理,目前最成功的应用是分布式搜索引擎。随着2007年底该模式Java开源实现项目Apache Hadoop的出现,使得程序员可以轻松地编写分布式并行程序,并将其运行于计算机集群上,完成海量数据的计算。近两年尤其是今年国内外采用 MapReduce模型的应用也逐渐丰富起来,如像NTT KDDI和中国移动这类的电信公司采用该模型分析用户信息,优化网络配置;美国供电局采用该模型来分析电网现状;包括VISA和JP摩根在内的金融公司采用该模型来分析股票数据;包括Amazon和ebay在内的零售商和电子商务公司也开始采用该模型;甚至部分生物公司也采用该模型来进行DNA测序和分析。然而Hadoop安装、部署、管理的难度非常大,这使用很多用户对Hadoop望而却步,好在这种情况不久就得到了改善,Cloudera提供了非常简单的Hadoop的发布版本,能够十分方便地对Hadoop进行安装、部署和管理,这导致目前大约有75%的Hadoop新用户使用Cloudera。下面是利用Cloudera 实现Hadoop 的具体规划。

规划

运行模式

Hadoop有三种运行模式:单机(非分布)运行模式、伪分布运行模式和分布式运行模式。其中前两种运行模式体现不了 Hadoop 分布式计算的优势,并没有什么实际意义(当然它们对程序的测试及调试还是很有帮助的),因此在这里还是采用实际环境中使用的分布式运行模式来部署。

主机规划

在这里拟采用三台主机搭建Hadoop环境,由于后期还需要测试增删主机及跨网段主机对Hadoop环境的影响,特将Hadoop主机规划如下:Hadoop-01 10.137.253.201Hadoop-02 10.137.253.202Hadoop-03 10.137.253.203 准备后期加入的测试主机Hadoop-04 10.137.253.204Firehare-303 10.10.3.30  准备后期加入的跨网段测试主机

Hadoop环境规划

对于Hadoop来说,最主要的是两个内容,一是分布式文件系统HDFS,一是MapReduce计算模型。在分布式文件系统HDFS看来,节点分为NameNode 和DataNode,其中NameNode只有一个,DataNode可以是很多;在MapReduce计算模型看来,节点又可分为JobTracker 和 TaskTracker,其中JobTracker只有一个,TaskTracker可以是很多。因此在实际的Hadoop环境中通常有两台主节点,一台作为NameNode(I/O节点??),一台作为JobTracker(管理节点??),剩下的都是从节点,同时当做DataNode和 TaskTracker使用。当然也可以将NameNode和JobTracker安装在一台主节点上。由于测试机数量有限,所以在这里是让 Hadoop-01做为Namenode和Jobtracker,其它主机则作为DataNode和TaskTracker(如果Hadoop环境中主机数量很多的话,还是建议将Namenode和JobTracker部署到不同的主机,以提高计算的性能)。本节关于利用Cloudera 实现Hadoop 的规划介绍完毕,请关注下节Hadoop安装。
 

【编辑推荐】

  1. Windows下轻松实现Hadoop开发环境安全配置
  2. 轻松实现Hadoop Hdfs配置
  3. 专家讲解 Hadoop:HBASE松散数据存储设计
  4. 两种模式运行Hadoop分布式并行程序
  5. Hadoop应用之Hadoop安装篇
责任编辑:佚名 来源: blogbus.com
相关推荐

2022-06-15 11:02:40

网络安全运营

2022-06-08 19:31:38

人工智能Cloudera自动化

2010-06-04 16:47:49

实现Hadoop

2022-05-26 16:51:07

网络丢包网络故障网络

2010-06-04 17:03:17

实现Hadoop

2022-06-12 10:55:48

AmbariApachePMC 成员

2022-06-28 10:03:56

CentOSLinux

2022-05-05 08:16:47

Spark架构Hadoop

2022-06-09 16:07:55

SAP双碳碳排放

2022-06-28 14:47:43

数据中心服务器科技

2022-06-27 15:25:08

架构模型治理

2022-06-16 10:38:24

2022-04-23 17:49:05

区块链元宇宙MetaCon

2022-05-17 11:06:44

数据库MySQL系统

2022-06-23 11:42:22

MySQL数据库

2022-06-20 15:19:51

前端监控方案

2022-05-12 15:05:32

云计算数据压缩

2022-06-21 21:47:13

数据系统

2022-06-10 07:45:09

CentOS国产操作系统

2022-05-11 15:08:52

驱动开发系统移植

同话题下的热门内容

全链路压测:影子库与影子表之争应该知道的RPC内核细节(值得收藏)!!!架构自治服务:构建数据驱动的架构洞察什么是Pulsar函数流处理应用?五张图带你理解 RocketMQ 顺序消息实现机制实现基于 Grafana Loki 的日志报警使用 Loki 微服务模式部署生产集群淘宝iOS扫一扫架构升级 - 设计模式的应用

编辑推荐

终于有人把Elasticsearch原理讲透了!花了一个星期,我终于把RPC框架整明白了!拜托!面试不要再问我Spring Cloud底层原理陌陌基于K8s和Docker容器管理平台的架构实践收藏 | 第一次有人把“分布式事务”讲的这么简单明了
我收藏的内容
点赞
收藏

51CTO技术栈公众号