首页技术文章正文

Spark RDD是什么?RDD特征介绍

更新时间:2020-12-22 来源:黑马程序员 浏览量:

1577370495235_学IT就到黑马程序员.gif

RDD( Resilient Distributed Dataset,弹性分布式数据集),是一个容错的、并行的数据结构,可以让用户显式地将数据存储到磁盘和内存中,并且还能控制数据的分区。对于迭代式计算和交互式数据挖掘,RDD可以将中间计算的数据结果保存在内存中,若是后面需要中间结果参与计算时,则可以直接从内存中读取,从而可以极大地提高计算速度。

每个RDD都具有五大特征,具体如下。
1.分区列表( a list of partitions)

每个RDD被分为多个分区(Partitions),这些分区运行在集群中的不同节点,每个分区都会被一个计算任务处理,分区数决定了并行计算的数量,创建RDD时可以指定RDD分区的个数。如果不指定分区数量,当RDD从集合创建时,默认分区数量为该程序所分配到的资源的CPU核数(每个Core可以承载2~4个Partition),如果是从HDFS文件创建,默认为文件的Block数。

2.每个分区都有一个计算函数( a function for computing each split)

Spark的RDD的计算函数是以分片为基本单位的,每个RDD都会实现 compute函数,对具体的分片进行计算。

3.依赖于其他RDD(a list of dependencies on other RDDs)

RDD的每次转换都会生成一个新的RDD,所以RDD之间就会形成类似于流水线一样的前后依赖关系。在部分分区数据丢失时,Spark可以通过这个依赖关系重新计算丢失的分区数据,而不是对RDD的所有分区进行重新计算。

4.(Key,Value)数据类型的RDD分区器(a Partitioner for Key-Value RDDS)

当前Spark中实现了两种类型的分区函数,一个是基于哈希的HashPartitioner,另外个是基于范围的RangePartitioner。只有对于(Key,Value)的RDD,才会有Partitioner(分区),非(Key,Value)的RDD的Partitioner的值是None。Partitioner函数不但决定了RDD本身的分区数量,也决定了parent RDD Shuffle输出时的分区数量。

5.每个分区都有一个优先位置列表(a list of preferred locations to compute each split on)

优先位置列表会存储每个Partition的优先位置,对于一个HDFS文件来说,就是每个Partition块的位置。按照“移动数据不如移动计算”的理念,Spark在进行任务调度的时候,会尽可能地将计算任务分配到其所要处理数据块的存储位置。


猜你喜欢

RDD转换算子API过程演示

不同系统如何加载数据创建RDD?

RDD为什么要进行数据持久化?它的操作方法有哪些?

黑马程序员大数据培训课程



分享到:
在线咨询 我要报名
和我们在线交谈!