Flink 系例 之 Dashboard 安装与界面操作

前期入门讲解了需多常用算子、方法、和连接器的使用与代码示例，本文讲解如何安装 Apache Flink Dashboard 平台与界面基本操作。

Apache Flink Dashboard 是 Flink 的客户端管理控制平台，也是 JOB 运行时任务跟踪与管理的显示平台。撑握基本的应用是学习 Flink 必备的，通过管理控制台界面的操作，我们能够知晓：

• Task JOB 的运行健康状态；

  • 上传打包的客户端应用程序；

    • 运行 Task JOB 如何分配可用资源；

      • 启停 Task JOB 任务、查看 Task JOB 执行能力；

        • 查看 Task JOB 监控维度指标；

          安装 Flink 服务

          参见另一文章： linux 安装 flink 1.11.1

          Dashboard 基本操作

          参考上述 “安装 Flink 服务” 后，访问：http://localhost:8081

          主页

          

          默认进入的是客户端主页，在主页中显示 Available Task Slots（翻译过来叫可用的任务槽），是 Flink 根据 flink-1.11.1/conf/flink-conf.yaml 配置文件中的 taskmanager.numberOfTaskSlots 值显示，按照网上有一个 Flink Task Slots 计算公式：

          Flink Available Task Slots = Total Task Slots - 每个任务中的最大并行数（Parallelism）

          但我个人的理解，即当前 TaskJOB 中所有算子并行度合计的最大可用数，即为 Flink Available Task Slots 的剩余数；

          这个我没有认真去求证，但有一篇博文件可以作为参考来理解 slot https://blog.csdn.net/kzw11/article/details/104016868

          所以实际生产使用，需要评估 job 客户端运用量，以免无法最大化发挥与利用平台有效资源；

          • 左上为集群数量；

            • 右上为正在运行任务数量；

              • 中间为运行任务作业列表；

                • 下方为已完成的任务作业列表；

                  完成的工作

                  

                  Completed Jobs 列表中显示 Job 名称，起动进间，用时时长，结束时间，任务个数（起始个数，已完成个数，失败任务，未运行任务），Status: 显示完成状态（falied：失败，finished: 已完成）

                  任务总览

                  

                  从运行列表中点击 JOB 名称，进入 JOB 作业的详细监控界面

                  • 上方显示任务名，此次执行任务的标识 ID，开始时间，结束时间，执行时长；

                    • 中间为执行流程，请示数据流的输入，算子运行模型，数据流的输出；

                      • 下方列表分别为：数据源，计算方式，已计算的字节大小，并行度，起动时间，用时进长结束时间等，任务个数等；

                        Job 作业管理

                        用于显示当前作业的服务信息与运行时的服务日志、客户端打印日志等；

                        

                        • Configuration：显示当前 jobManager 的所在主机的基本信息（jobManager 在 master 服务上运行），如：服务地址，端口，内存池大小，CPU 总进程数，数据缓存临时目录，ssh 端口等；

                          • Logs：为 jobManager 运行时的服务日志

                            • Stdout：为运行客户端时向控制台输出的日志信息

                              • Log List：flink 平台所有日志清单，有多种类型的输出日志文件，点击对应的日志文件名，可实时查看当前 Job 作业的打印日志，一般在此列表中排查 job 作业的运行故障日志；

                                提交新工作

                                1.Add New：新建客户端，点击按钮弹出窗口，添加与选择本地目录下的客户端 jar 包，将客户端上传 Job 列表；

                                2. 点击列表中 JobName，则显示参数与配置项，输入相关配置，点击 Submit 提交与运行 Job 任务；

                                3. 任务提交后，则可以 “任务总览” 界面查看 Task JOB 运行过程与运行状态；

                                

                                说明：

                                • 事件执行类 Entry Class: com.flink.demo.FlinkWordCount

                                  • 执行参数 Program Arguments:/opt/flink-1.11.1/temp/2.txt

                                    • 并行度数量 Parallelism:1（可改）

                                      Apache Flink Dashboard 界面总体功能不多，但简捷实用，对于后续监控、跟踪、管理 Task JOB 有不可缺的作用，尽可能多熟悉操作界面的功能与指标。