社区编辑申请
注册/登录
HadoopOnDemand配置新手指南
开发 架构 Hadoop
Hadoop相信大家应该有所了解,那么HadoopOnDemand你是否熟悉,这里向大家介绍一下HadoopOnDemand的配置问题,相信通过本文的介绍大家对HadoopOnDemand的配置有一定的认识。

本节和大家一起学习一下HadoopOnDemand的配置,本节主要介绍HadoopOnDemand的几种配置项,欢迎大家一起来学习,希望通过本节的节的介绍大家对HadoopOnDemand有一定的理解。

HadoopOnDemand:配置指南

1.简介

这个文档讲述了一些最重要和常用的HadoopOnDemand(HOD)的配置项。这些配置项可通过两种方式指定:INI风格的配置文件,通过--section.option[=value]格式指定的HODshell的命令行选项。如果两个地方都指定了同一个选项,命令行中的值覆盖配置文件中的值。

你可以通过以下命令获得所有配置项的简要描述:
$hod--verbose-help

2.段

HOD配置文件分成以下几个配置段:
hod:HOD客户端的配置项
resource_manager:指定要使用的资源管理器的配置项,以及使用该资源管理器时需要的一些其他参数。
ringmaster:RingMaster进程的配置项
hodring:HodRing进程的配置项
gridservice-mapred:Map/Reduce守护进程的配置项
gridservice-hdfs:HDFS守护进程的配置项

3.HadoopOnDemand中HOD配置项
接下来的一节会先描述大部分HOD配置段中通用的一些配置项,再描述各配置段特有的配置项。

3.1一般的配置项
某些配置项会在HOD配置中的多个段定义。在一个段中定义的配置项,会被该段所适用的所有进程使用。这些配置项意义相同,但在不同的段中可以有不同的取值。

temp-dir:HOD进程使用的临时目录。请确保运行hod的用户有权限在这个指定的目录下创建子目录。如果想在每次分配的时候都使用不同的临时目录,可以使用环境变量,资源管理器会让这些环境变量对HOD进程可用。例如,在Torque设置的时候,使--ringmaster.temp-dir=/tmp/hod-temp-dir.$PBS_JOBID会让ringmaster在每一次申请时使用不同的临时目录;Troque会在ringmaster启动前展开这个环境变量。

debug:数值类型,取值范围是1-4。4会产生最多的log信息。
log-dir:日志文件的存放目录。缺省值是<install-location>/logs/。temp-dir变量的限制和注意事项在这里同样使用。
xrs-port-range:端口范围,会在这之中挑选一个可用端口用于运行XML-RPC服务。
http-port-range:端口范围,会在这之中挑选一个可用端口用于运行HTTP服务。
java-home:给Hadoop使用的Java的位置。
syslog-address:syslog守护进程要绑定的地址。格式为host:port。如果配置了这个选项,HOD日志信息会被记录到这个位置的syslog。

3.2HadoopOnDemand中hod的配置项

cluster:集群的描述性名称。对于Torque,这个值被指定为集群中所有节点的'Nodeproperty'。HOD使用这个值计算可用节点的个数。
client-params:逗号分割的hadoop配置参数列表,其中的每一项都是一个key-value对。在提交节点上会据此产生一个hadoop-site.xml,用于运行Map/Reduce作业。
job-feasibility-attr:正则表达式,用于指定是否和如何检查作业的可行性-资源管理器限制或调度限制。目前是通过torque作业的'comment'属性实现的,缺省情况下没有开启这个功能。设置了这个配置项后,HOD会使用它来确定哪些种类的限制是启用的,以及请求超出限制或者累积超出限制时是回收机群还是留在排队状态。torquecomment属性可以被某个外部机制周期性地更新。比如,comment属性被hod/support目录下的checklimits.sh更新,这样设置job-feasibility-attr的值等于TORQUE_USER_LIMITS_COMMENT_FIELD,"User-limitsexceeded.Requested:([0-9]*)Used:([0-9]*)MaxLimit:([0-9]*)"会使HOD产生相应的行为。

3.3HadoopOnDemand中resouce_manager的配置项

queue:资源管理器中配置的队列名,作业会被提交到这里。
batch-home:个安装目录,其下的'bin'中有资源管理器的可执行文件。
env-vars:逗号分隔的key-value对的列表,形式是key=value,它会被传递给运行在计算节点的作业。例如,如果ptyhon没有安装在常规位置,用户可以通过设置环境变量'HOD_PYTHON_HOME'指定python可执行文件的路径。之后,在计算节点运行的HOD的进程就可以使用这个变量了。

【编辑推荐】

  1. Hadoop配置和启动Hadoop方法详解
  2. Hadoop0.20.2集群配置入门指导手册
  3. Hadoop文件系统如何快速安装?
  4. Hadoop配置指导手册
  5. Hadoop完全分布模式安装实现详解
责任编辑:佚名 来源: csdn.net
相关推荐

2010-06-07 16:23:06

HadoopOnDem

2010-06-04 10:01:26

Hadoop安装

2010-06-03 14:55:59

Hadoop配置

2010-06-03 15:13:34

Hadoop Hdfs

2010-06-03 15:39:47

Hadoop配置

2010-06-07 15:21:00

hadoop-0.20

2010-06-04 17:43:12

Hadoop集群搭建

2012-09-18 09:55:44

2010-06-04 09:43:47

2010-06-03 17:27:36

Hadoop命令

2012-06-25 10:30:06

2013-06-08 14:34:42

Hadoop 2.0

2017-09-18 18:31:08

Hadoop

2016-11-11 20:33:53

Hadoop大数据云计算

2012-06-28 15:57:08

2010-06-07 15:33:42

Hadoop0.20更

2010-06-03 17:38:03

Hadoop命令

2010-06-03 12:57:06

2010-06-03 10:51:09

同话题下的热门内容

该不该将单体架构迁移到微服务?生成性对抗网络——数据生成的高级解决方案SpringBoot对Spring MVC都做了哪些事?(四)软件架构中的跨层缓存技术人生 | 如何设定业务目标SpringBoot:如何优雅地进行响应数据封装、异常处理?为什么策略梯度法在协作性MARL中如此高效?终于有人把灰度发布架构设计讲明白了

编辑推荐

终于有人把Elasticsearch原理讲透了!花了一个星期,我终于把RPC框架整明白了!拜托!面试不要再问我Spring Cloud底层原理陌陌基于K8s和Docker容器管理平台的架构实践收藏 | 第一次有人把“分布式事务”讲的这么简单明了
我收藏的内容
点赞
收藏

AISummit人工智能大会