zookeeper版本选择与配置参数调优

一、zookeeper 发布策略

Apache ZooKeeper 社区一次支持两个发布分支：stable和current。ZooKeeper的稳定版本是 3.7.x，当前版本是 3.8.x。一旦发布新的次要版本，稳定版本预计将很快退役，大约半年后将宣布为 End-of-Life。在半年的宽限期内，预计只会为该版本发布安全和关键修复程序。宣布 EoL 后，社区不再提供进一步的补丁。所有 ZooKeeper 版本都可以从官方 Apache 档案中访问。

Apache ZooKeeper 3.8.0（当前版本）

Apache ZooKeeper 3.7.1（最新稳定版）

Apache ZooKeeper 3.6.3 （稳定版）

Apache ZooKeeper 3.5.10（3.5 自 2022 年 6 月 1 日起停产）

详细见zookeeper官网：zookeeper 版本介绍

1、版本选择

• zookeeper版本上面已经介绍了当前最新版本3.8.0，版本选择我们最好不要选择最新版本（除非是修复了以前版本特别严重的bug），也不要选择特别老版本；选择中间版本就好，如上例子我们就可以选择 ZooKeeper 3.6.3 （稳定版）

• 为什么不选择3.7.1，主要原因有以下2点

  1、业务背景是因为Flink-1.15 放弃对 Zookeeper 3.4.x 的支持，前面测试的zookeeper都是基于zookeeper 3.6.x做测试，这个时候如果我们用的是3.7.x ，那么对于开发而言又要增加测试成本的工作量

  2、这边在了解版本的时候，看到网上基本都是用的 ZooKeeper 3.6.x

• Apache ZooKeeper 3.6.3 （稳定版）发行说明

• Apache ZooKeeper 3.6.3 （稳定版）下载包地址

• zookeeper 各个版本分支详见：zookeeper branch doc

  

  2、Flink_ha 特性

  Flink1.15 仅支持ZooKeeper3.5/3.6，不再支持3.4。

  • FLINK-25146 Drop support for Zookeeper 3.4
  • FLINK-1.15 Official website

    

    

    其中的ZooKeeper Versions描述默认使用3.4，可以自行调整为3.5。从文档上来看自1.11版本就添加了这段描述，到目前最新稳定版本(1.16.0)依然是这么描述的。其实在1.15的 ReleaseNote 中明确写了，不再支持3.4，网上已经有人验证过任务直接报错

    二、zookeeper 参数优化

    • 不要使用zk的默认配置，默认配置就是一个定时炸弹

    • 在网上也找了一些相关优化参数，无非就主要的那么几个，下面列出需要调整的相关参数

      1. 配置snapshot文件清理策略
      autopurge.purgeInterval=1
      autopurge.purgeInterval：开启清理事务日志和快照文件的功能，单位是小时。默认是0，表示不开启自动清理功能。
      autopurge.snapRetainCount=10
      autopurge.snapRetainCount：指定了需要保留的文件数目。默认是保留3个。
      2. 限制snapshot数量
      snapCount=3000000
      每snapCount次事务日志输出后，触发一次快照(snapshot)。 ZooKeeper会生成一个snapshot文件和事务日志文件。 默认是100000。
      3. log和data数据分磁盘存储
      dataDir：存储快照文件snapshot的目录。默认情况下，事务日志也会存储在这里。
      dataLogDir：事务日志输出目录。尽量给事务日志的输出配置单独的磁盘或是挂载点，这将极大的提升ZK性能。
      4. 调整JVM大小
      ZooKeeper的JVM内存默认是根据操作系统本身内存大小的一个百分比预先分配的，所以这不是我们所需要的。
      在./bin/zkEnv.sh文件中，有如下配置项：
      if [ -f "$ZOOCFGDIR/java.env" ]
      then
          . "$ZOOCFGDIR/java.env"
      fi
      我们在./conf/java.env文件中配置JVM的内存，增加如下配置：
      export JAVA_HOME=/usr/local/java/jdk1.8.0_151
      export JVMFLAGS="-Xms10240m -Xmx20480m $JVMFLAGS"
      修改完成使用jmap -heap $pid来验证内存修改情况。
      5. ZNode中可以存储数据星的最大值，默认值是1M。
      jute.maxbuffer
      修改jvm内存参数jute.maxbuffer大小调整到10M=10240KB=10485760Bytes
      修改bin/zkServer.sh或者zkEnv.sh
      JVMFLAGS="$JVMFLAGS -Djute.maxbuffer=10485760"
      

      tickTime=2000
      ZK中的一个时间单元。ZK中所有时间都是以这个时间单元为基础，进行整数倍配置的。例如，session的最小超时时间是2*tickTime。 默认值2000，单位毫秒。
      initLimit=10
      Follower在启动过程中，会从Leader同步所有最新数据，然后确定自己能够对外服务的起始状态。Leader允许F在 initLimit 时间内完成这个工作。通常情况下，我们不用太在意这个参数的设置。如果ZK集群的数据量确实很大了，Flower在启动的时候，从Leader上同步数据的时间也会相应变长，因此在这种情况下，有必要适当调大这个参数了。
      initLimit=30000
      syncLimit=5
      在运行过程中，Leader负责与ZK集群中所有机器进行通信，例如通过一些心跳检测机制，来检测机器的存活状态。如果Leader发出心跳包在syncLimit之后，还没有从Flower那里收到响应，那么就认为这个Flower已经不在线了。注意：不要把这个参数设置得过大，否则可能会掩盖一些问题。
      maxClientCnxns=500
      单个客户端与单台服务器之间的连接数的限制，是ip级别的，默认是60，如果设置为0，那么表明不作任何限制。请注意这个限制的使用范围，仅仅是单台客户端机器与单台ZK服务器之间的连接数限制，不是针对指定客户端IP，也不是ZK集群的连接数限制，也不是单台ZK对所有客户端的连接数限制。
      maxSessionTimeout=60000000
      Session超时时间限制，如果客户端设置的超时时间不在这个范围，那么会被强制设置为最大或最小时间。默认的Session超时时间是在2 * tickTime ~ 20 * tickTime 这个范围
      preAllocSize=131072
      预先开辟磁盘空间，用于后续写入事务日志。默认是64M，每个事务日志大小就是64M。如果ZK的快照频率较大的话，建议适当减小这个参数。单位kb。
      

      ZooKeeper的磁盘建议使用SSD，因为zookeeper必须具有低延迟磁盘写入才能以最佳方式执行。对zookeeper的每个请求都必须提交到仲裁中每个服务器上的磁盘上，然后才能读取结果。对于生产部署，建议在每个zookeeper服务器上使用大小至少为64 gb的专用ssd。

      三、最终参数配置

      # cat conf/zoo.cfg 
      autopurge.purgeInterval=24
      autopurge.snapRetainCount=5
      clientPort=2181
      dataDir=/data/zookeeper
      dataLogDir=/log/zookeeper
      initLimit=10
      maxClientCnxns=500
      maxSessionTimeout=60000
      minSessionTimeout=4000
      syncLimit=5
      tickTime=2000
      4lw.commands.whitelist=*
      metricsProvider.exportJvmInfo=true
      skipACL=yes
      forceSync=no
      metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
      metricsProvider.httpPort=7000
      server.1=0.0.0.1:2888:3888
      server.2=0.0.0.2:2888:3888
      server.3=0.0.0.3:2888:3888
      

      1、其他参数介绍

      • 主要配置上面已经介绍了，有几个参数没有介绍的，参数介绍如下

        # 3.4.10 中的新功能，此属性包含逗号分隔的四字母单词命令列表。引入它是为了对 ZooKeeper 可以执行的命令集提供细粒度的控制
        4lw.commands.whitelist=*
        # 如果将此属性设置为true，则Prometheus.io将导出有关JVM的指标，默认值为true
        metricsProvider.exportJvmInfo=true
        # metric Prometheus 监控配置，如果用的其它监控方案这里可以注释掉
        metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
        # metric Prometheus 监控端口，同上，如果用的其它监控方案这里可以注释掉
        metricsProvider.httpPort=7000
        

        相关参考借鉴：

        Flink_zookeeper版本

        zookeeper配置优化