1. 什么是RDD

RDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark 中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。在Spark 中,对数据的所有操作不外乎创建RDD、转化已有RDD 以及调用RDD 操作进行求值。每个RDD 都被分为多个分区,这些分区运行在集群中的不同节点上。RDD 可以包含Python、Java、Scala 中任意类型的对象, 甚至可以包含用户自定义的对象。RDD 具有数据流模型的特点:自动容错、位置感知性调度和可伸缩性。RDD 允许用户在执行多个查询时显式地将工作集缓存在内存中,后续的查询能够重用工作集,这极大地提升了查询速度。RDD 支持两种操作:transformation操作和action操作。RDD 的转化操作是返回一个新的RDD 的操作,比如map()和filter(),而action操作则是向驱动器程序返回结果或把结果写入外部系统的操作。比如count() 和first()。 Spark 采用惰性计算模式,RDD 只有第一次在一个行动操作中用到时,才会真正计算。Spark 可以优化整个计算过程。默认情况下,Spark 的RDD 会在你每次对它们进行行动操作时重新计算。

2. 宽依赖与窄依赖

定义

窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用,子RDD分区通常对应常数个父RDD分区(O(1),与数据规模无关) 相应的,宽依赖是指父RDD的每个分区都可能被多个子RDD分区所使用,子RDD分区通常对应所有的父RDD分区(O(n),与数据规模有关)

并行计算框架中的fork/join机制 实例解释为什么窄依赖可以进行流水线优化,宽依赖无法进行流水线优化

假设需要将学校的学生分不同的线路运送到厦门,途中在上海集合等待后继续前往厦门,如图所示,最后所有学生到达厦门所需时间为6小时,这里发现学生运送过程中没必要在上海进行集合,此过程可以省略,最后的运送总时间将缩短为5小时,这就是一个窄依赖优化的例子。

接下来考虑另外一种情况,当学生到达上海后,学生需要重新分配路线,比如班长带所有1班学生走1号线,组织委员带2班学生走2号线,此时就不得不在上海聚集进行人员的重新分配,这就是一个宽依赖的例子,这种情况下则无法按照上述的方式进行流水线优化

将例子运用到RDD的运行过程中就是一个DAG(有向无环图),可以将DAG划分为不同的阶段,窄依赖之间不需要反复join操作可以将一系列的窄依赖操作归为一个stage进行流水线优化,而宽依赖则直接归为一个stage,如下图所示

由此RDD的整个运行流程如下: 文章中的实例内容参考于中国大学mooc网中的厦门大学大数据课程内容 宽依赖窄依赖参考

好文阅读

评论可见,请评论后查看内容,谢谢!!!
 您阅读本篇文章共花了: