Spark 性能调优核心原理,你会吗?

开发 架构 Spark
所谓内存计算,不仅仅是指数据可以缓存在内存中,更重要的是,通过计算的融合来大幅提升数据在内存中的转换效率,进而从整体上提升应用的执行性能。

[[441977]]

用了这么久spark了,今天总结下他的一些优化方面的核心原理,今天我们分这么几个方面来谈:

一.RDD

RDD是弹性分布式数据集的简称,他是其他后来者,比如DataFrame,DataSet等的基础。他有四大核心属性,如下所示。

这4 大属性又可以划分为两类,横向属性和纵向属性。其中,横向属性锚定数据分片实体,并规定了数据分片在分布式集群中如何分布。

纵向属性用于在纵深方向构建 DAG,通过提供重构 RDD 的容错能力保障内存计算的稳定性。

其实RDD还有个特性:优先位置列表.算上他总共有5大特性。白话文总结就是:3个列表,2个函数。3个列表是分区列表,依赖列表和优先位置列表;2个函数就是:计算函数和分区函数。

二.内存计算

在 Spark 中,内存计算有两层含义:第一层含义就是众所周知的分布式数据缓存,第二层含义是 Stage 内的流水线式计算模式。

流水线计算模式指的是:在同一 Stage 内部,所有算子融合为一个函数,Stage 的输出结果由这个函数一次性作用在输入数据集而产生。

所谓内存计算,不仅仅是指数据可以缓存在内存中,更重要的是,通过计算的融合来大幅提升数据在内存中的转换效率,进而从整体上提升应用的执行性能。

比如这个栗子:

如图所示,在上面的计算流程中,如果你把流水线看作是内存,每一步操作过后都会生成临时数据,如图中的 clean 和 slice,这些临时数据都会缓存在内存里。但在下面的内存计算中,所有操作步骤如 clean、slice、bake,都会被捏合在一起构成一个函数。这个函数一次性地作用在“带泥土豆”上,直接生成“即食薯片”,在内存中不产生任何中间数据形态。

补充下:从程序员的视角出发,DAG 的构建是通过在分布式数据集上不停地调用算子来完成的,DAG 以 Actions 算子为起点,从后向前回溯,以 Shuffle 操作为边界,划分出不同的 Stages。同一 Stage 内所有算子融合为一个函数,Stage 的输出结果由这个函数一次性作用在输入数据集而产生。

 

责任编辑:武晓燕 来源: 记录技术记录我
相关推荐

2019-07-17 15:45:24

Spark内存Java

2021-03-04 08:39:21

SparkRDD调优

2018-07-18 12:12:20

Spark大数据代码

2017-10-20 13:41:11

Spark集群代码

2017-07-07 11:01:04

Spark性能调优

2023-06-05 09:17:50

SQLAlchemy关系型数据库

2020-11-09 07:34:49

JVM性能监控

2017-07-21 08:55:13

TomcatJVM容器

2012-06-20 11:05:47

性能调优攻略

2013-03-21 11:20:00

性能测试性能调优测试

2018-08-24 07:17:41

Spark大数据调优

2011-03-10 14:40:54

LAMPMysql

2020-11-30 11:40:35

NginxLinux性能调优

2011-11-14 10:28:23

2020-09-03 14:30:40

Tomcat 拆解调优

2011-05-20 15:02:01

Oracle性能调优

2011-03-18 11:21:48

2021-11-07 23:49:19

SQL数据库工具

2009-09-04 17:57:15

Glassfish性能Java EE

2012-06-21 09:43:45

点赞
收藏

51CTO技术栈公众号