Flink学习笔记（三）：Flink四种执行图

文章目录

• 1、Graph 的概念
• 2、Graph 的演变过程
• • 2.1、StreamGraph (数据流图)
  • 2.2、JobGraph (作业图)
  • 2.3、ExecutionGraph (执行图)
  • 2.4、Physical Graph (物理图)

    1、Graph 的概念

    

    Flink 中的执行图可以分成四层：StreamGraph -> JobGraph -> ExecutionGraph -> Physical Graph。

    StreamGraph（数据流图）：是根据用户通过 Stream API 编写的代码生成的最初的图。用来表示程序的拓扑结构。

    JobGraph（作业图）：StreamGraph经过优化后生成了 JobGraph，提交给 JobManager 的数据结构。主要的优化为，将多个符合条件的节点 chain 在一起作为一个节点，这样可以减少数据在节点之间流动所需要的序列化/反序列化/传输消耗。

    ExecutionGraph（执行图）：JobManager 根据 JobGraph 生成 ExecutionGraph。ExecutionGraph 是 JobGraph 的并行化版本，是调度层最核心的数据结构。

    Physical Graph（物理图）：JobManager 根据 ExecutionGraph 对 Job 进行调度后，在各个TaskManager 上部署 Task 后形成的 “图”，并不是一个具体的数据结构。

    2、Graph 的演变过程

    2个并发度（Source为1个并发度）的 SocketTextStreamWordCount 四层执行图的演变过程：

    env.socketTextStream()
    	.flatMap(…)
    	.keyBy(0)
    	.sum(1)
    	.print();
    

    

    2.1、StreamGraph (数据流图)

    数据流图（StreamGraph）：在运行时，Flink 程序按照 算子逻辑 生成一个有向无环图DAG），这个图就是 数据流图（StreamGraph）。

    • StreamNode：用来代表 operator 的类，并具有所有相关的属性，如并发度、入边和出边等。
    • StreamEdge：表示连接两个 StremNode 的边。

      2.2、JobGraph (作业图)

      StreamGraph 经过优化后生成的就是 JobGraph。主要的优化为: 合并算子链，提交给 JobManager 的数据结构。

      • JobVertex：经过优化后符合条件的多个 StreamNode 可能会chain在一起生成一个 JobVertex，即一个 JobVertex 包含一个或多个operator，JobVertex 的输入是 JobEdge ，输出是 IntermediateDataSet。
      • IntermediateDataSet：表示 JobVertex 的输出，即经过 operator 处理产生的数据集。producer 是 JobVertex ，consumer 是 JobEdge。
      • JobEdge：代表了 job graph 中的一条数据传输通道。source 是 IntermediateDataSet，target 是 JobVertex。即数据通过 JobEdge 由 IntermediateDataSet 传递给目标 JobVertex 。

        2.3、ExecutionGraph (执行图)

        JobManager 根据 JobGraph 生成 ExecutionGraph。ExecutionGraph 是 JobGraph 的并行化版本，是调度层最核心的数据结构。在 JobGraph 的基础上结合各算子的并行度生成的就是 ExecutionGraph （ExecutionGraph与 JobGraph 最大的区别就是按照并行度将每个算子的任务拆分成了多个并行的子任务，并明确了任务间数据传输的方式。）

        • ExecutionJobVertex：和 JobGraph 中的 JobVertex 一一对应。每一个 ExecutionJobVertex 都有和并发度一样多的 ExecutionVertex。

        • ExecutionVertex：表示 ExecutionJobVertex 的其中一个并发子任务，输入是 ExecutionEdge，输出是 IntermediateResultPartition 。

        • IntermediateResult：和 JobGraph 中的 IntermediateDataSet 一一对应。一个 IntermediateResult 包含多个 IntermediateResultPartition ，其个数等于该 operator 的并发度。

        • IntermediateResultPartition：表示 ExecutionVertex 的一个输出分区，producer 是 ExecutionVertex，consumer 是若干个 ExecutionEdge。

        • ExecutionEdge：表示 ExecutionVertex 的输入，source 是 IntermediateResultPartition，target 是 ExecutionVertex。source 和 target 都只能是一个。

        • Execution：是执行一个 ExecutionVertex 的一次尝试。当发生故障或者数据需要重算的情况下 ExecutionVertex 可能会有多个ExecutionAttemptID。一个 Execution 通过 ExecutionAttemptID 来唯一标识。JobManager 和 TaskManager 之间关于 task 的部署和 task status 的更新都是通过 ExecutionAttemptID 来确定消息接受者。

          2.4、Physical Graph (物理图)

          JobManager 根据 ExecutionGraph 对 Job 进行调度后，在各个 TaskManager 上部署 Task 后形成的“图”，并不是一个具体的数据结构。

          • Task：Execution 被调度后在分配的 TaskManager 中启动对应的 Task。Task 包裹了具有用户执行逻辑的 operator。

          • ResultPartition：代表由一个 Task 的生成的数据，和 ExecutionGraph 中的 IntermediateResultPartition 一一对应。

          • ResultSubpartition：是 ResultPartition 的一个子分区。每个 ResultPartition 包含多个 ResultSubpartition，其数目要由下游消费 Task 数和 DistributionPattern 来决定。

          • InputGate：代表 Task 的输入封装和 JobGraph 中 JobEdge 一一对应。每个 InputGate 消费了一个或多个的 ResultPartition。

          • InputChannel：每个 InputGate 会包含一个以上的 InputChannel，和 ExecutionGraph 中的 ExecutionEdge 一一对应，也和 ResultSubpartition 一对一地相连，即一个 InputChannel 接收一个 ResultSubpartition 的输出。