社区编辑申请
注册/登录
HadoopOnDemand配置项详解
开发 架构 Hadoop
Hadoop相信大家已经有所了解了,不知道HadoopOnDemand你是否熟悉,这里向大家介绍一下HadoopOnDemand的配置方面的内容,欢迎大家一起来学习HadoopOnDemand。

本节向大家介绍一下HadoopOnDemand配置方面的内容,主要介绍一些中HadoopOnDemand常用的配置项,相信通过本节的介绍大家对HadoopOnDemand的配置有新的认识,让我们一起来学习吧。

3.4HadoopOnDemand中ringmaster的配置项

work-dirs:这是一个由逗号分隔的路径列表,这些路径将作为HOD产生和传递给Hadoop,用于存放DFS和Map/Reduce数据的目录的根目录。例如,这是DFS数据块存放的路径。一般情况下,有多少块磁盘就指定多少路径,以确保所有的磁盘都被利用到。temp-dir变量的限制和注意事项在这儿同样适用。
max-master-failures:hadoop主守护进启动前可以失败的次数,超出这个次数后,HOD会让这次集群分配失败。在HOD集群中,有时候由于某些问题,比如机器没安装java,没有安装Hadoop,或者Hadoop版本错误等,会存在一个或几个“坏”节点。当这个配置项被设为正整数时,只有当hadoopmatser(JobTracker或者NameNode)在上述的坏节点上,由于上面提到的种种原因启动失败的次数超过设定的值时,RingMaster才会把错误返回给客户端。如果尝试启动的次数没有超过设定值,当下一个HodRing请求运行一个命令时,同一个hadoopmaster会指定给这个HodRing。这样,即使集群中存在一些坏的节点,HOD也会尽全力使这次分配成功。

3.5HadoopOnDemand中gridservice-hdfs的配置项

external:如果被置为false,HOD必须在通过allocate命令分配的节点上自己创建HDFS集群。注意,在这种情况下,如果集群被回收,HDFS集群会停止,所有数据会丢失。如果被置为true,它会尝试链接外部的已配置的HDFS系统。通常,因为在作业运行之前作业的输入需要被放置在HDFS上,并且作业的输出需要持久保留,在生产环境中一个内部的HDFS集群意义不大。
host:外部配置好的NameNode的主机名。
fs_port:NameNodeRPC服务绑定的端口。
info_port:NameNodewebUI服务绑定的端口。
pkgs:安装目录,其下有bin/hadoop可执行文件。可用来使用集群上预先安装的Hadoop版本。
server-params:一个逗号分割的hadoop配置参数列表,每一项为key-value对形式。这些将用于产生被NameNode和DataNode使用到的hadoop-site.xml文件。
final-server-params:除会被标记为final外和上面相同。

3.6HadoopOnDemand中gridservice-mapred的配置项

external:如果被置为false,HOD必须在通过allocate命令分配的节点上自己创建Map/Reduce集群。如果被置为true,它会尝试链接外部的已配置的Map/Reduce系统。
host:外部配置好的JobTracker的主机名。
tracker_port:JobTrackerRPC服务绑定的端口。
info_port:JobTrackerwebUI服务绑定的端口。
pkgs:安装目录,其下有bin/hadoop可执行文件。
server-params:一个逗号分割的hadoop配置参数列表,每一项为key-value对形式。这些将用于产生被JobTracker和TaskTracker使用到的hadoop-site.xml文件。
final-server-params:除会被标记为final外和上面相同。

3.7HadoopOnDemand中hodring的配置项

mapred-system-dir-root:DFS上的目录,HOD会在这个目录下创建子目录并把全路径作为参数'mapred.system.dir'的值传递给Hadoop守护进程。全路径的格式为value-of-this-option/userid/mapredsystem/cluster-id。注意,如果HDFS启用了权限,这里指定的路径下应允许所有用户创建子目录。设置此配置项的值为/user会使HOD使用用户的home目录来产生mapred.system.dir的值。
log-destination-uri:一个URL,能反映一个外部的静态的DFS或者集群节点上的本地文件系统上的路径。当集群被回收时,HOD会把Hadoop日志上传到这个路径。要指定DFS路径,使用'hdfs://path'格式。要指定一个集群节点上的本地文件系统路径,使用'file://path'格式。当HOD回收集群时,作为HOD的清除过程的一部分,hadoop日志会被删除。要做到持久储这些日志,你可以使用这个配置项。路径的格式会是values-of-this-option/userid/hod-logs/cluster-id。注意,应该保证所有的用户能在这里指定的目录下创建子目录。把这个值设为hdfs://user会使这些日志被转移到用户在DFS上的home目录下。
pkgs:安装目录,其下有bin/hadoop可执行文件。如果给log-destination-uri指定了一个HDFSURL,HOD上传日志时会用到这个配置项。注意,当用户使用了和外部静态HDFS不同版本的tarball时,这个配置项会派上用场。
 

【编辑推荐】

  1. HadoopOnDemand配置新手指南
  2. Hadoop0.20.2集群配置入门指导手册
  3. Hadoop文件系统如何快速安装?
  4. Hadoop集群搭建过程中相关环境配置详解
  5. Hadoop完全分布模式安装实现详解

 

 

责任编辑:佚名 来源: csdn.net
相关推荐

2010-06-07 16:10:53

HadoopOnDem

2010-06-04 10:01:26

Hadoop安装

2010-06-03 15:39:47

Hadoop配置

2010-06-04 17:43:12

Hadoop集群搭建

2010-06-03 14:55:59

Hadoop配置

2010-06-03 15:13:34

Hadoop Hdfs

2010-06-03 17:38:03

Hadoop命令

2012-09-18 09:55:44

2010-06-04 09:43:47

2012-06-25 10:30:06

2013-06-08 14:34:42

Hadoop 2.0

2010-06-03 17:27:36

Hadoop命令

2017-09-18 18:31:08

Hadoop

2016-12-13 16:36:15

Hadoopwindows

2016-11-11 20:33:53

Hadoop大数据云计算

2014-07-15 11:15:44

2010-06-03 12:57:06

同话题下的热门内容

该不该将单体架构迁移到微服务?生成性对抗网络——数据生成的高级解决方案SpringBoot对Spring MVC都做了哪些事?(四)软件架构中的跨层缓存技术人生 | 如何设定业务目标SpringBoot:如何优雅地进行响应数据封装、异常处理?为什么策略梯度法在协作性MARL中如此高效?终于有人把灰度发布架构设计讲明白了

编辑推荐

终于有人把Elasticsearch原理讲透了!花了一个星期,我终于把RPC框架整明白了!拜托!面试不要再问我Spring Cloud底层原理陌陌基于K8s和Docker容器管理平台的架构实践收藏 | 第一次有人把“分布式事务”讲的这么简单明了
我收藏的内容
点赞
收藏

AISummit人工智能大会