Apache Mesos模块间通信架构

开发 前端
Mesos主要由四种组件组成,分别是mesos-master,mesos-save,scheduler和Executor,各个组件之间采用了基于protocal buffer的actor model进行通信(采用开源库libprocess)。也就是说,各个模块分别是一个server(实际上是socket server),分别监听来自其他模块的消息,一旦收到某个消息后,便会调用相应的消息处理函数进行处理。

1.  介绍

Mesos主要由四种组件组成,分别是mesos-master,mesos-save,scheduler和Executor,各个组件之间采用了基于protocal buffer的actor model进行通信(采用开源库libprocess)。也就是说,各个模块分别是一个server(实际上是socket server),分别监听来自其他模块的消息,一旦收到某个消息后,便会调用相应的消息处理函数进行处理。

什么是apache mesos?参考:《统一资源管理与调度平台(系统)介绍》,本文分析基于Mesos SVN Revision 1327410).

2. 通信框架概述

对于某个计算框架(如Hadoop,Spark等),如果想接入Mesos,需要编写两个组件,分别是FrameworkSchduler和 FrameworkExecutor,这两个组件分别实现Scheduler和Executor接口,并分别通过SchedulerDriver和 ExecutorDriver接入Mesos,如图中黑色虚线,表示这几个组件之间通过函数调用产生关系。

其他组件,即mesos-master,mesos-save,SchedulerProcess和ExecutorProcess之间则通过消息机制进行通信(使用libprocess开源库)。

(1)【SchedulerProcess与mesos-master】:mesos-master为各个framework分配资源,这些资源直 接传递给SchedulerProcess,再由SchedulerProcess调用 FrameworkScheduler的相关函数,由FrameworkScheduler将这些资源分配给框架中的任务,并返回给mesos- master,由mesos-master转发给相应的mesos-slave。

(2)【SchedulerProcess与Mesos-slave】:如果SchedulerProcess中保存了Mesos-slave的地址,则直接将相关消息发送给Mesos-slave,不必再由mesos-master转发。

(3)【Mesos-master与Mesos-slave】:Mesos-master管理mesos-slave,如监控slave的健康状况等

(4)【Mesos-slave与ExecutorProcess】:Mesos-slave负责管理各个framework的executor,并为executor分配资源等。

具体如下图所示。

3. 消息类型及其处理函数

3.1 Mesos-Slave的消息类型及处理函数

3.2  Mesos-master的消息类型及处理函数

3.3  scheduler的消息类型及处理函数

位于sched/sched.cpp中,由SchedulerProcess/MesosSchedulerDriver实现

3.4  Executor的消息类型及处理函数

位于文件exec/exec.cpp中,由ExectorProcess中实现

原文链接:http://dongxicheng.org/apache-mesos/apache-mesos-communications/

责任编辑:陈四芳 来源: dongxicheng.org
相关推荐

2014-01-06 17:30:50

ApacheMesos架构

2014-02-14 15:12:41

ApacheMesos架构

2014-01-06 17:24:44

ApacheMesos

2014-01-06 17:09:10

ApacheMesos

2015-09-11 09:15:32

RyuSDN

2023-09-11 09:02:31

图形编辑器模块间的通信

2021-04-08 13:51:48

Apache Meso开发者项目

2017-02-27 09:03:37

Mesos架构源码

2014-01-06 16:38:29

MesosApache

2014-01-06 11:26:38

ApacheMesos

2014-01-06 17:41:44

ApacheMesos

2010-01-05 10:00:48

Linux进程间通信

2015-01-19 13:33:44

KubernetesMesos计算集群

2014-01-06 11:23:54

Mesos设计架构

2011-06-22 17:09:50

QT 进程 通信

2022-05-16 08:07:15

微服务容器通信

2017-08-07 20:18:11

Android线程handler

2017-08-06 00:05:18

进程通信开发

2020-11-04 07:17:42

Nodejs通信进程

2014-07-18 09:54:57

vlan路​由​器
点赞
收藏

51CTO技术栈公众号