SPARK-RDD

1、什么是RDD

1.1、RDD五大核心属性

1. 分区列表

   RDD 数据结构中存在分区列表，用于执行任务时并行计算，是实现分布式计算的重要属性。

2. 分区计算函数

   Spark 在计算时，是使用分区函数对每一个分区进行计算

3. RDD之间的依赖关系

   RDD 是计算模型的封装，当需求中需要将多个计算模型进行组合时，就需要将多个 RDD 建立依赖关系。RDD之间的依赖关系又可以分为宽依赖与窄依赖

4. 分区器

   当数据为 KV 类型数据时，可以通过设定分区器自定义数据的分区

5. 首选位置

   计算数据时，可以根据计算节点的状态选择不同的节点位置进行计算，移动计算不移动数据。

2、RDD转换算子

转换算子：由一个RDD变成另一个RDD，是RDD之间的转换，是懒执行的，需要action算子触发执行

2.1、单value

• map

  函数说明：将处理的数据逐条进行映射转换，这里的转换可以是类型的转换，也可以是值的转换。

• mapPartitions

  函数说明：将待处理的数据以分区为单位发送到计算节点进行处理，这里的处理是指可以进行任意的处理，哪怕是过滤数据。

• mapPartitionsWithIndex

  函数说明：将待处理的数据以分区为单位发送到计算节点进行处理，这里的处理是指可以进行任意的处理，哪怕是过滤数据，在处理时同时可以获取当前分区索引。

• flatMap

  函数说明：将处理的数据进行扁平化后再进行映射处理，所以算子也称之为扁平映射

• glom

  函数说明：将同一个分区的数据直接转换为相同类型的内存数组进行处理，分区不变

• groupBy

  函数说明：将数据根据指定的规则进行分组, 分区默认不变，但是数据会被打乱重新组合，我们将这样的操作称之为 shuffle。极限情况下，数据可能被分在同一个分区中一个组的数据在一个分区中，但是并不是说一个分区中只有一个组

• filter

  函数说明：将数据根据指定的规则进行筛选过滤，符合规则的数据保留，不符合规则的数据丢弃。当数据进行筛选过滤后，分区不变，但是分区内的数据可能不均衡，生产环境下，可能会出现数据倾斜。

• sample

  函数说明：根据指定的规则从数据集中抽取数据

• distinct

  函数说明：将数据集中重复的数据去重

• sortBy

  函数说明：该操作用于排序数据。在排序之前，可以将数据通过 f 函数进行处理，之后按照 f 函数处理的结果进行排序，默认为升序排列。排序后新产生的 RDD 的分区数与原 RDD 的分区数一致。中间存在 shuffle 的过程

  2.2、双value

  • union

    函数说明：对源 RDD 和参数 RDD 求并集后返回一个新的 RDD

  • intersection

    函数说明：对源 RDD 和参数 RDD 求交集后返回一个新的 RDD

  • subtract

    函数说明：以一个 RDD 元素为主，去除两个 RDD 中重复元素，将其他元素保留下来。求差集

  • zip

    函数说明：将两个 RDD 中的元素，以键值对的形式进行合并。其中，键值对中的 Key 为第 1 个 RDD中的元素，Value 为第 2 个 RDD 中的相同位置的元素。

    2.3、Key-Value

    • reduceByKey

      函数说明：可以将数据按照相同的 Key 对 Value 进行聚合

    • groupByKey

      函数说明：将数据源的数据根据 key 对 value 进行分组

    • partitionBy

      函数说明：将数据按照指定 Partitioner 重新进行分区。Spark 默认的分区器是HashPartitioner

    • sortByKey

      函数说明：在一个(K,V)的 RDD 上调用，K 必须实现 Ordered 接口(特质)，返回一个按照 key 进行排序的

    • mapValues

      函数说明：在一个(K,V)的 RDD 上调用，对每一个value逐条进行转换。

    • join

      函数说明：在类型为(K,V)和(K,W)的 RDD 上调用，返回一个相同 key 对应的所有元素连接在一起的(K,(V,W))的 RDD

    • leftOuterJoin

      函数说明:类似于 SQL 语句的左外连接

    • combineByKey

      函数说明：最通用的对 key-value 型 rdd 进行聚集操作的聚集函数（aggregation function）。combineByKey()允许用户返回值的类型与输入不一致。

      3、RDD动作算子

      行为算子：由一个RDD调用，但最后没有返回新的RDD，而是返回了其他数据类型，行为算子可以触发任务的执行，每个action算子都会触发一个job。

      • reduce

        函数说明:聚集 RDD 中的所有元素，先聚合分区内数据，再聚合分区间数据

      • collect

        函数说明:在驱动程序中，以数组 Array 的形式返回数据集的所有元素

      • count

        函数说明:返回 RDD 中元素的个数

      • first

        函数说明:返回 RDD 中的第一个元素

      • take

        函数说明:返回一个由 RDD 的前 n 个元素组成的数组

      • countByKey

        函数说明:统计每种 key 的个数

      • save 相关算子

        saveAsTextFile

        saveAsObjectFile

        saveAsSequenceFile

        函数说明:将数据保存到不同格式的文件中

      • foreach

        函数说明:分布式遍历 RDD 中的每一个元素，调用指定函数

        eAsObjectFile

        saveAsSequenceFile

        函数说明:将数据保存到不同格式的文件中

        • foreach

          函数说明:分布式遍历 RDD 中的每一个元素，调用指定函数