Docker 部署 Flink 集群环境

Flink 部署笔记：

• Ubuntu 环境下部署 Flink 集群环境
• Docker 部署 Flink 集群环境
• kubernetes(K8S) 部署 Flink 集群环境

  下面的1、2两个方法选其一即可。

  1 使用docker命令进行构建

  1. 创建网络

     docker network create flink-network
     

  2. 配置属性

     在命令行界面直接输入。

     FLINK_PROPERTIES="jobmanager.rpc.address: jobmanager"
     

  3. 启动jobmanager容器

     docker run \
     --rm \
     --name=jobmanager \
     --network flink-network \
     --publish 8081:8081 \
     --env FLINK_PROPERTIES="${FLINK_PROPERTIES}" \
     flink:1.14.2-scala_2.12 jobmanager
     

  4. 启动taskmanager容器

     可启动一个或多个。

     docker run \
     --rm \
     --name=taskmanager \
     --network flink-network \
     --env FLINK_PROPERTIES="${FLINK_PROPERTIES}" \
     flink:1.14.2-scala_2.12 taskmanager
     

  2 使用docker-compose进行构建（推荐）

  1. 准备工作

     创建flink-docker文件夹，用于保存后续工作所需文件。

     （可跳过）使用1.1方法启动之后，使用下面命令复制出conf文件，后续可挂载。

     docker cp jobmanager:/opt/flink/conf /home/user/flink-docker/flink-conf/jobmanager
     docker cp taskmanager:/opt/flink/conf /home/user/flink-docker/flink-conf/taskmanager
     

     修改flink-conf.yaml文件。附录给出了示例。
  2. 安装docker-compose
     • 安装pip

       apt install python3-pip
       

     • 安装docker-compose

       pip install docker-compose
       

     • 验证安装

       docker-compose -version
       

     • 创建docker-compose.yml

       在一个文件夹中，创建docker-compose.yml，写入以下内容。（如果做了第一步，则取消下面的注释。注意volumes中的目录路径。）

       version: "2.2"
       services:
         jobmanager:
           image: flink:1.14.2-scala_2.12
           ports:
             - "8081:8081"
           command: jobmanager
           # volumes: - /home/user/flink-docker/jobmanager/flink-conf.yaml:/opt/flink/conf/flink-conf.yaml
           environment:
             - |
               FLINK_PROPERTIES=
               jobmanager.rpc.address: jobmanager
         taskmanager:
           image: flink:1.14.2-scala_2.12
           depends_on:
             - jobmanager
           command: taskmanager
           scale: 3
           # volumes: - /home/user/flink-docker/taskmanager/flink-conf.yaml:/opt/flink/conf/flink-conf.yaml
           environment:
             - |
               FLINK_PROPERTIES=
               jobmanager.rpc.address: jobmanager
               taskmanager.numberOfTaskSlots: 3       
       

     • 启动

  docker-compose up -d
  

  4. 终止

  docker-compose down
  

  3 提交作业

  访问宿主机的8081端口即可访问 web 页面，在 web 页面提交代码即可。