kafka 3.5.0集群环境部署（使用自带的zookeeper）

环境和安装包准备：

• 管理界面包：kafka-manager-1.3.3.7.zip (链接)
• kafka二进制包：kafka_2.13-3.5.0.tgz (链接)
• java包：jdk-8u291-linux-x64.tar.gz (链接)

  节点IP	broker id
  10.10.10.10	0
  10.10.10.11	1
  10.10.10.12	2

  安装java:

  • 解压：tar -zxf jdk-8u291-linux-x64.tar.gz
  • 编辑/etc/profile配置文件，文件末尾添加如下配置：

    export JAVA_HOME=/usr/java/jdk1.8.0_333 #java解压目录
    export JRE_HOME=${JAVA_HOME}/jre
    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
    export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
    export PATH=$PATH:${JAVA_PATH}
    

    • 让配置生效source /etc/profile
    • 查看是否安装成功：java -version

      安装kafka:

      • 解压kafka_2.13-3.5.0.tgz包，编辑config/zookeeper.properties配置文件：

        # the directory where the snapshot is stored.
        dataDir=/usr/local/kafka/zookeeper/data
        #修改为自定义的zookeeper日志目录
        dataLogDir=/usr/local/kafka/zookeeper/log
        # the port at which the clients will connect
        clientPort=2181
        #注释掉
        #maxClientCnxns=0
        #设置连接参数，添加如下配置
        #为zk的基本时间单元，毫秒
        tickTime=2000
        #Leader-Follower初始通信时限 tickTime*10
        initLimit=10
        #Leader-Follower同步通信时限 tickTime*5
        syncLimit=5
        #设置broker Id的服务地址
        server.0=10.10.10.10:2888:3888
        server.1=10.10.10.11:2888:3888
        server.2=10.10.10.12:2888:3888
        

        • 创建好对于目录和文件：

           mkdir /usr/local/kafka/zookeeper/data -p
           mkdir /usr/local/kafka/zookeeper/log -p
           echo "0" > /usr/local/kafka/zookeeper/data/myid # zk集群id
          

          • 编辑kafka配置文件config/zookeeper.properties，只需修改如下几项配置：

            broker.id=0 # 需要修改为集群唯一
            listeners=PLAINTEXT://10.10.10.10:2888:9092 # 填节点地址
            zookeeper.connect=10.10.10.10:2181,10.10.10.11:2181,10.10.10.12:2181 # 集群节点IP地址
            

            启动服务：

            • 启动zookeeper：

              bin/zookeeper-server-start.sh -daemon config/zookeeper.properties; echo $?
              

            • 启动kafka：

              JMX_PORT=9988 bin/kafka-server-start.sh -daemon config/server.properties; echo $?
              

              注意：先把集群所有节点的zookeeper启动起来，再启动kafka

              功能验证：

              • 创建3副本主题：

                bin/kafka-topics.sh --create --topic perf-test --replication-factor 3 --partitions 3 --bootstrap-server 10.10.10.10:9092
                

                • 生产消息：

                  bin/kafka-producer-perf-test.sh --topic perf-test --num-records 1000 --record-size 64 --throughput -1 --producer-props bootstrap.servers=10.10.10.10:9092
                  

                  

                  • 消费消息：

                    bin/kafka-consumer-perf-test.sh --topic perf-test --bootstrap-server 10.10.10.10:9092 --fetch-size 64 --messages 100000
                    

                    

                    配置可视化界面

                    • 解压包：kafka-manager-1.3.3.7.zip
                    • 修改conf/application.conf配置：

                      kafka-manager.zkhosts="10.10.10.10:2181,10.10.10.11:2181,10.10.10.12:2181"
                      #kafka-manager.zkhosts=${?ZK_HOSTS} # 注释掉这行
                      

                      • 启动服务：

                        nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9001 & #不加-Dhttp.port，默认9000端口
                        

                        • 登录页面，添加集群：