基于Spark的机器学习资料31、Spark编程模型RDD设计以及运行原理.pdf

该【基于Spark的机器学习资料31、Spark编程模型RDD设计以及运行原理 】是由【wawa】上传分享，文档一共【1】页，该文档可以免费在线阅读，需要了解更多关于【基于Spark的机器学习资料31、Spark编程模型RDD设计以及运行原理 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。Spark编程模型RDD设计以及运行原理
一、RDD介绍
RDD:弹性分布式数据集,是一个分区的只读记录的集合。也可以这样理解,是一个提供了许多操作接口的数据集
合。它还包括容错、数据集内的数据可以并行处理等。
二、RDD操作类型
RDD的操作类型分为两类,转换(transformations)和行动(action),转换是根据原有的RDD创建一个新的RDD,
行动是对RDD操作后把结果返回给driver。
RDD的所有转换操作都是lazy模式,即Spark不会立刻结算结果,而只是简单的记住所有对数据集的转换操作。
这些转换只有遇到action操作的时候才会开始计算。
三、RDD依赖关系
RDD提供了许多转换操作,每个转换操作都会生成新的RDD,这时候新的RDD便依赖于原有的RDD,这种RDD之
间的依赖关系最终形成DAG。
RDD之间的依赖关系分为两种,为窄依赖和宽依赖。
宽依赖:RDD的每个partition都依赖于父RDD的所有Partition。
窄依赖:只依赖一个或部分的Partition。
四、RDDpartitioner与并行度
每个RDD都有Partitioner属性,它决定了该RDD如何分区,当然Partition的个数还将决定每个Stage的Task个数。
当前Spark需要应用设置Stage的并行Task个数(配置项为:),在未设置的情况下,子RDD
会根据父RDD的Partition决定,如map操作下子RDD的Partition与父Partition完全一致,Union操作时子RDD
的Partition个数为父Partition个数之和。
,它会很大程度上决定Spark程序的性能。