HadoopOnDemand配置项详解

开发 架构 Hadoop
Hadoop相信大家已经有所了解了,不知道HadoopOnDemand你是否熟悉,这里向大家介绍一下HadoopOnDemand的配置方面的内容,欢迎大家一起来学习HadoopOnDemand。

本节向大家介绍一下HadoopOnDemand配置方面的内容,主要介绍一些中HadoopOnDemand常用的配置项,相信通过本节的介绍大家对HadoopOnDemand的配置有新的认识,让我们一起来学习吧。

3.4HadoopOnDemand中ringmaster的配置项

work-dirs:这是一个由逗号分隔的路径列表,这些路径将作为HOD产生和传递给Hadoop,用于存放DFS和Map/Reduce数据的目录的根目录。例如,这是DFS数据块存放的路径。一般情况下,有多少块磁盘就指定多少路径,以确保所有的磁盘都被利用到。temp-dir变量的限制和注意事项在这儿同样适用。
max-master-failures:hadoop主守护进启动前可以失败的次数,超出这个次数后,HOD会让这次集群分配失败。在HOD集群中,有时候由于某些问题,比如机器没安装java,没有安装Hadoop,或者Hadoop版本错误等,会存在一个或几个“坏”节点。当这个配置项被设为正整数时,只有当hadoopmatser(JobTracker或者NameNode)在上述的坏节点上,由于上面提到的种种原因启动失败的次数超过设定的值时,RingMaster才会把错误返回给客户端。如果尝试启动的次数没有超过设定值,当下一个HodRing请求运行一个命令时,同一个hadoopmaster会指定给这个HodRing。这样,即使集群中存在一些坏的节点,HOD也会尽全力使这次分配成功。

3.5HadoopOnDemand中gridservice-hdfs的配置项

external:如果被置为false,HOD必须在通过allocate命令分配的节点上自己创建HDFS集群。注意,在这种情况下,如果集群被回收,HDFS集群会停止,所有数据会丢失。如果被置为true,它会尝试链接外部的已配置的HDFS系统。通常,因为在作业运行之前作业的输入需要被放置在HDFS上,并且作业的输出需要持久保留,在生产环境中一个内部的HDFS集群意义不大。
host:外部配置好的NameNode的主机名。
fs_port:NameNodeRPC服务绑定的端口。
info_port:NameNodewebUI服务绑定的端口。
pkgs:安装目录,其下有bin/hadoop可执行文件。可用来使用集群上预先安装的Hadoop版本。
server-params:一个逗号分割的hadoop配置参数列表,每一项为key-value对形式。这些将用于产生被NameNode和DataNode使用到的hadoop-site.xml文件。
final-server-params:除会被标记为final外和上面相同。

3.6HadoopOnDemand中gridservice-mapred的配置项

external:如果被置为false,HOD必须在通过allocate命令分配的节点上自己创建Map/Reduce集群。如果被置为true,它会尝试链接外部的已配置的Map/Reduce系统。
host:外部配置好的JobTracker的主机名。
tracker_port:JobTrackerRPC服务绑定的端口。
info_port:JobTrackerwebUI服务绑定的端口。
pkgs:安装目录,其下有bin/hadoop可执行文件。
server-params:一个逗号分割的hadoop配置参数列表,每一项为key-value对形式。这些将用于产生被JobTracker和TaskTracker使用到的hadoop-site.xml文件。
final-server-params:除会被标记为final外和上面相同。

3.7HadoopOnDemand中hodring的配置项

mapred-system-dir-root:DFS上的目录,HOD会在这个目录下创建子目录并把全路径作为参数'mapred.system.dir'的值传递给Hadoop守护进程。全路径的格式为value-of-this-option/userid/mapredsystem/cluster-id。注意,如果HDFS启用了权限,这里指定的路径下应允许所有用户创建子目录。设置此配置项的值为/user会使HOD使用用户的home目录来产生mapred.system.dir的值。
log-destination-uri:一个URL,能反映一个外部的静态的DFS或者集群节点上的本地文件系统上的路径。当集群被回收时,HOD会把Hadoop日志上传到这个路径。要指定DFS路径,使用'hdfs://path'格式。要指定一个集群节点上的本地文件系统路径,使用'file://path'格式。当HOD回收集群时,作为HOD的清除过程的一部分,hadoop日志会被删除。要做到持久储这些日志,你可以使用这个配置项。路径的格式会是values-of-this-option/userid/hod-logs/cluster-id。注意,应该保证所有的用户能在这里指定的目录下创建子目录。把这个值设为hdfs://user会使这些日志被转移到用户在DFS上的home目录下。
pkgs:安装目录,其下有bin/hadoop可执行文件。如果给log-destination-uri指定了一个HDFSURL,HOD上传日志时会用到这个配置项。注意,当用户使用了和外部静态HDFS不同版本的tarball时,这个配置项会派上用场。
 

【编辑推荐】

  1. HadoopOnDemand配置新手指南
  2. Hadoop0.20.2集群配置入门指导手册
  3. Hadoop文件系统如何快速安装?
  4. Hadoop集群搭建过程中相关环境配置详解
  5. Hadoop完全分布模式安装实现详解

 

 

责任编辑:佚名 来源: csdn.net
相关推荐

2010-06-07 16:10:53

HadoopOnDem

2010-11-12 09:44:59

Cassandra配置

2011-03-02 13:12:37

vsftpd配置

2009-07-14 17:34:53

Webwork配置

2010-06-18 17:32:27

Linux Anacr

2010-08-02 16:00:55

Flex配置

2009-07-15 13:39:13

2010-09-17 11:05:05

RTP SIP配置

2010-05-27 10:32:19

SVN配置文档

2009-07-09 14:57:08

JDK环境配置

2010-08-03 13:54:00

2010-11-29 13:33:00

sybase配置参数

2010-08-30 19:55:27

配置DHCP

2009-07-15 14:08:06

MyEclipse T

2009-09-09 09:53:02

MyEclipse W

2011-01-19 09:55:27

postfix

2011-03-02 11:32:55

vsftpd配置

2009-04-01 13:43:35

索引开发MySQL

2009-12-24 09:22:30

2009-12-09 09:27:35

linux内核
点赞
收藏

51CTO技术栈公众号