Kafka

目录

• 1、Kafka简要描述
• • 1.1、kafka
  • 1.2 消息队列
  • 1.3、为什么需要消息队列
  • 1.4 kafka架构
  • 1.5 分布式模型
  • 1.6 Kafka网址
  • 2、Kafka集群部署
  • • 2.1 环境准备
    • • 2.1.1 集群规划
      • 2.1.2 jar包下载
      • 2.1.3 服务器准备
      • 2.1.4 安装jdk
      • 2.1.5 安装Zookeeper
      • 2.2 Kafka集群部署
      • 3、Kafka工作流程分析
      • • 3.1 Kafka生产过程分析
        • • 3.1.1 写入方式
          • 3.1.2 分区（Partition）
          • 3.1.3 副本（Replication）
          • 3.1.4 写入流程
          • 3.2 Broker 保存消息
          • • 3.2.1 存储方式
            • 3.2.2 存储策略
            • 3.2.3 Zookeeper存储结构
            • 3.3 Kafka消费过程分析
            • • 3.3.1 消费模型

                1、Kafka简要描述

                1.1、kafka

                在流式计算中，Kafka一般用来缓存数据，flink通过消费Kafka的数据进行计算。

                1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。

                2）Kafka最初是由LinkedIn公司开发，并于 2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。

                3）Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。

                4）无论是kafka集群，还是producer和consumer都依赖于zookeeper集群保存一些meta信息，来保证系统可用性。

                1.2 消息队列

                

                （1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）

                点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。

                （2）发布/订阅模式（一对多，数据生产后，推送给所有订阅者）

                发布订阅模型则是一个基于推送的消息传送模型。发布订阅模型可以有多种不同的订阅者，临时订阅者只在主动监听主题时才接收消息，而持久订阅者则监听主题的所有消息，即使当前订阅者不可用，处于离线状态。

                1.3、为什么需要消息队列

                1）解耦：

                　　允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。

                2）冗余：

                消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。

                3）扩展性：

                因为消息队列解耦了你的处理过程，所以增大消息入队和处理的频率是很容易的，只要另外增加处理过程即可。

                4）灵活性 & 峰值处理能力：

                在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量并不常见。如果为以能处理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。

                5）可恢复性：

                系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。

                6）顺序保证：

                在大多使用场景下，数据处理的顺序都很重要。大部分消息队列本来就是排序的，并且能保证数据会按照特定的顺序来处理。（Kafka保证一个Partition内的消息的有序性）

                7）缓冲：

                有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况。

                8）异步通信：

                很多时候，用户不想也不需要立即处理消息。消息队列提供了异步处理机制，允许用户把一个消息放入队列，但并不立即处理它。想向队列中放入多少消息就放多少，然后在需要的时候再去处理它们。

                1.4 kafka架构

                

                1）Producer ：消息生产者，就是向kafka broker发消息的客户端。

                2）Consumer ：消息消费者，向kafka broker取消息的客户端

                3）Topic ：可以理解为一个队列。

                4） Consumer Group （CG）：这是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一个consumer）的手段。一个topic可以有多个CG。topic的消息会复制-给consumer。如果需要实现广播，只要每个consumer有一个独立的CG就可以了。要实现单播只要所有的consumer在同一个CG。用CG还可以将consumer进行自由的分组而不需要多次发送消息到不同的topic。

                5）Broker ：一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic。

                6）Partition：为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上，一个topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset）。kafka只保证按一个partition中的顺序将消息发给consumer，不保证一个topic的整体（多个partition间）的顺序。

                7）Offset：kafka的存储文件都是按照offset.kafka来命名，用offset做名字的好处是方便查找。例如你想找位于2049的位置，只要找到2048.kafka的文件即可。当然the first offset就是00000000000.kafka

                1.5 分布式模型

                Kafka每个主题的多个分区日志分布式地存储在Kafka集群上，同时为了故障容错，每个分区都会以副本的方式复制到多个消息代理节点上。其中一个节点会作为主副本（Leader），其他节点作为备份副本（Follower，也叫作从副本）。主副本会负责所有的客户端读写操作，备份副本仅仅从主副本同步数据。当主副本出现故障时，备份副本中的一个副本会被选择为新的主副本。因为每个分区的副本中只有主副本接受读写，所以每个服务器端都会作为某些分区的主副本，以及另外一些分区的备份副本，这样Kafka集群的所有服务端整体上对客户端是负载均衡的。

                Kafka的生产者和消费者相对于服务器端而言都是客户端。

                Kafka生产者客户端发布消息到服务端的指定主题，会指定消息所属的分区。生产者发布消息时根据消息是否有键，采用不同的分区策略。消息没有键时，通过轮询方式进行客户端负载均衡；消息有键时，根据分区语义（例如hash）确保相同键的消息总是发送到同一分区。

                Kafka的消费者通过订阅主题来消费消息，并且每个消费者都会设置一个消费组名称。因为生产者发布到主题的每一条消息都只会发送给消费者组的一个消费者。所以，如果要实现传统消息系统的“队列”模型，可以让每个消费者都拥有相同的消费组名称，这样消息就会负责均衡到所有的消费者；如果要实现“发布-订阅”模型，则每个消费者的消费者组名称都不相同，这样每条消息就会广播给所有的消费者。

                分区是消费者现场模型的最小并行单位。如下图（图1）所示，生产者发布消息到一台服务器的3个分区时，只有一个消费者消费所有的3个分区。在下图（图2）中，3个分区分布在3台服务器上，同时有3个消费者分别消费不同的分区。假设每个服务器的吞吐量时300MB，在下图（图1）中分摊到每个分区只有100MB，而在下图（图2）中，集群整体的吞吐量有900MB。可以看到，增加服务器节点会提升集群的性能，增加消费者数量会提升处理性能。

                同一个消费组下多个消费者互相协调消费工作，Kafka会将所有的分区平均地分配给所有的消费者实例，这样每个消费者都可以分配到数量均等的分区。Kafka的消费组管理协议会动态地维护消费组的成员列表，当一个新消费者加入消费者组，或者有消费者离开消费组，都会触发再平衡操作。

                

                Kafka的消费者消费消息时，只保证在一个分区内的消息的完全有序性，并不保证同一个主题汇中多个分区的消息顺序。而且，消费者读取一个分区消息的顺序和生产者写入到这个分区的顺序是一致的。比如，生产者写入“hello”和“Kafka”两条消息到分区P1，则消费者读取到的顺序也一定是“hello”和“Kafka”。如果业务上需要保证所有消息完全一致，只能通过设置一个分区完成，但这种做法的缺点是最多只能有一个消费者进行消费。一般来说，只需要保证每个分区的有序性，再对消息假设键来保证相同键的所有消息落入同一分区，就可以满足绝大多数的应用。

                1.6 Kafka网址

                https://kafka.apache.org/

                2、Kafka集群部署

                2.1 环境准备

                2.1.1 集群规划

                hadoop102 hadoop103 hadoop104

                zk zk zk

                kafka kafka kafka

                2.1.2 jar包下载

                http://kafka.apache.org/downloads.html

                2.1.3 服务器准备

                1）准备3台服务器

                2）配置ip地址

                3）配置主机名称

                4）3台主机分别关闭防火墙

                2.1.4 安装jdk

                2.1.5 安装Zookeeper

                0）集群规划

                在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。

                1）解压安装

                （1）解压zookeeper安装包到/opt/module/目录下

                [wxn@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

                （2）在/opt/module/zookeeper-3.4.10/这个目录下创建zkData

                mkdir -p zkData

                （3）重命名/opt/module/zookeeper-3.4.10/conf这个目录下的zoo_sample.cfg为zoo.cfg

                mv zoo_sample.cfg zoo.cfg

                2）配置zoo.cfg文件

                （1）具体配置

                dataDir=/opt/module/zookeeper-3.4.10/zkData

                增加如下配置

                #######################cluster##########################

                server.2=hadoop102:2888:3888

                server.3=hadoop103:2888:3888

                server.4=hadoop104:2888:3888

                （2）配置参数解读

                Server.A=B:C:D。

                A是一个数字，表示这个是第几号服务器；

                B是这个服务器的ip地址；

                C是这个服务器与集群中的Leader服务器交换信息的端口；

                D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

                集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。

                3）集群操作

                （1）在/opt/module/zookeeper-3.4.10/zkData目录下创建一个myid的文件

                touch myid

                添加myid文件，注意一定要在linux里面创建，在notepad++里面很可能乱码

                （2）编辑myid文件

                vi myid

                在文件中添加与server对应的编号：如2

                （3）拷贝配置好的zookeeper到其他机器上

                scp -r zookeeper-3.4.10/ root@hadoop103.wxn.com:/opt/app/

                scp -r zookeeper-3.4.10/ root@hadoop104.wxn.com:/opt/app/

                并分别修改myid文件中内容为3、4

                （4）分别启动zookeeper

                [root@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh start

                [root@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh start

                [root@hadoop104 zookeeper-3.4.10]# bin/zkServer.sh start

                （5）查看状态

                [root@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh status

                JMX enabled by default

                Using config: /opt/module/zookeeper-3.4.10/bin/…/conf/zoo.cfg

                Mode: follower

                [root@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh status

                JMX enabled by default

                Using config: /opt/module/zookeeper-3.4.10/bin/…/conf/zoo.cfg

                Mode: leader

                [root@hadoop104 zookeeper-3.4.5]# bin/zkServer.sh status

                JMX enabled by default

                Using config: /opt/module/zookeeper-3.4.10/bin/…/conf/zoo.cfg

                Mode: follower

                2.2 Kafka集群部署

                1）解压安装包

                [wxn@hadoop102 software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/

                2）修改解压后的文件名称

                [wxn@hadoop102 module]$ mv kafka_2.11-0.11.0.0/ kafka

                3）在/opt/module/kafka目录下创建logs文件夹

                [wxn@hadoop102 kafka]$ mkdir logs

                4）修改配置文件

                [wxn@hadoop102 kafka]$ cd config/

                [wxn@hadoop102 config]$ vi server.properties

                输入以下内容：

                #broker的全局唯一编号，不能重复
                broker.id=0
                #是否允许删除topic
                delete.topic.enable=true
                #处理网络请求的线程数量
                num.network.threads=3
                #用来处理磁盘IO的线程数量
                num.io.threads=8
                #发送套接字的缓冲区大小
                socket.send.buffer.bytes=102400
                #接收套接字的缓冲区大小
                socket.receive.buffer.bytes=102400
                #请求套接字的最大缓冲区大小
                socket.request.max.bytes=104857600
                #kafka运行日志存放的路径
                log.dirs=/opt/module/kafka/logs
                #topic在当前broker上的分区个数
                num.partitions=1
                #用来恢复和清理data下数据的线程数量
                num.recovery.threads.per.data.dir=1
                #segment文件保留的最长时间，超时将被删除
                log.retention.hours=168
                #配置连接Zookeeper集群地址
                zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181
                

                5）配置环境变量

                [root@hadoop102 module]# vi /etc/profile

                #KAFKA_HOME
                export KAFKA_HOME=/opt/module/kafka
                export PATH=$PATH:$KAFKA_HOME/bin
                

                [root@hadoop102 module]# source /etc/profile

                6）分发安装包

                [root@hadoop102 etc]# xsync profile

                [wxn@hadoop102 module]$ xsync kafka/

                7）分别在hadoop103和hadoop104上修改配置文件/opt/module/kafka/config/server.properties中的broker.id=1、broker.id=2

                注：broker.id不得重复

                8）启动集群

                依次在hadoop102、hadoop103、hadoop104节点上启动kafka

                [wxn@hadoop102 kafka]$ bin/kafka-server-start.sh config/server.properties &

                [wxn@hadoop103 kafka]$ bin/kafka-server-start.sh config/server.properties &

                [wxn@hadoop104 kafka]$ bin/kafka-server-start.sh config/server.properties &

                9）关闭集群

                [wxn@hadoop102 kafka]$ bin/kafka-server-stop.sh stop

                [wxn@hadoop103 kafka]$ bin/kafka-server-stop.sh stop

                [wxn@hadoop104 kafka]$ bin/kafka-server-stop.sh stop

                2.3 Kafka命令行操作

                1）查看当前服务器中的所有topic

                [wxn@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --list

                2）创建topic

                [wxn@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-factor 3 --partitions 1 --topic first

                选项说明：

                –topic 定义topic名

                –replication-factor 定义副本数

                –partitions 定义分区数

                3）删除topic

                [wxn@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --delete --topic first

                需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。

                4）发送消息

                [wxn@hadoop102 kafka]$ bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic first

                hello world

                wxn wxn

                5）消费消息

                [wxn@hadoop103 kafka]$ bin/kafka-console-consumer.sh --zookeeper hadoop102:2181 --from-beginning --topic first

                –from-beginning：会把first主题中以往所有的数据都读取出来。根据业务场景选择是否增加该配置。

                6）查看某个Topic的详情

                [wxn@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --describe --topic first

                3、Kafka工作流程分析

                

                3.1 Kafka生产过程分析

                3.1.1 写入方式

                producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障kafka吞吐率）。

                3.1.2 分区（Partition）

                Kafka集群有多个消息代理服务器（broker-server）组成，发布到Kafka集群的每条消息都有一个类别，用主题（topic）来表示。通常，不同应用产生不同类型的数据，可以设置不同的主题。一个主题一般会有多个消息的订阅者，当生产者发布消息到某个主题时，订阅了这个主题的消费者都可以接收到生成者写入的新消息。
                

                Kafka集群为每个主题维护了分布式的分区（partition）日志文件，物理意义上可以把主题（topic）看作进行了分区的日志文件（partition log）。主题的每个分区都是一个有序的、不可变的记录序列，新的消息会不断追加到日志中。分区中的每条消息都会按照时间顺序分配到一个单调递增的顺序编号，叫做偏移量（offset），这个偏移量能够唯一地定位当前分区中的每一条消息。

                消息发送时都被发送到一个topic，其本质就是一个目录，而topic是由一些Partition Logs(分区日志)组成，其组织结构如下图所示：

                下图中的topic有3个分区，每个分区的偏移量都从0开始，不同分区之间的偏移量都是独立的，不会相互影响。

                

                

                我们可以看到，每个Partition中的消息都是有序的，生产的消息被不断追加到Partition log上，其中的每一个消息都被赋予了一个唯一的offset值。

                发布到Kafka主题的每条消息包括键值和时间戳。消息到达服务器端的指定分区后，都会分配到一个自增的偏移量。原始的消息内容和分配的偏移量以及其他一些元数据信息最后都会存储到分区日志文件中。消息的键也可以不用设置，这种情况下消息会均衡地分布到不同的分区。

                1）分区的原因

                （1）方便在集群中扩展，每个Partition可以通过调整以适应它所在的机器，而一个topic又可以有多个Partition组成，因此整个集群就可以适应任意大小的数据了；

                （2）可以提高并发，因为可以以Partition为单位读写了。

                传统消息系统在服务端保持消息的顺序，如果有多个消费者消费同一个消息队列，服务端会以消费存储的顺序依次发送给消费者。但由于消息是异步发送给消费者的，消息到达消费者的顺序可能是无序的，这就意味着在并行消费时，传统消息系统无法很好地保证消息被顺序处理。虽然我们可以设置一个专用的消费者只消费一个队列，以此来解决消息顺序的问题，但是这就使得消费处理无法真正执行。

                Kafka比传统消息系统有更强的顺序性保证，它使用主题的分区作为消息处理的并行单元。Kafka以分区作为最小的粒度，将每个分区分配给消费者组中不同的而且是唯一的消费者，并确保一个分区只属于一个消费者，即这个消费者就是这个分区的唯一读取线程。那么，只要分区的消息是有序的，消费者处理的消息顺序就有保证。每个主题有多个分区，不同的消费者处理不同的分区，所以Kafka不仅保证了消息的有序性，也做到了消费者的负载均衡。

                2）分区的原则

                （1）指定了patition，则直接使用；

                （2）未指定patition但指定key，通过对key的value进行hash出一个patition

                （3）patition和key都未指定，使用轮询选出一个patition。

                3.1.3 副本（Replication）

                同一个partition可能会有多个replication（对应 server.properties 配置中的 default.replication.factor=N）。没有replication的情况下，一旦broker 宕机，其上所有 patition 的数据都不可被消费，同时producer也不能再将数据存于其上的patition。引入replication之后，同一个partition可能会有多个replication，而这时需要在这些replication之间选出一个leader，producer和consumer只与这个leader交互，其它replication作为follower从leader 中复制数据。

                3.1.4 写入流程

                producer写入消息流程如下：

                

                1）producer先从zookeeper的 "/brokers/…/state"节点找到该partition的leader

                2）producer将消息发送给该leader

                3）leader将消息写入本地log

                4）followers从leader pull消息，写入本地log后向leader发送ACK

                5）leader收到所有ISR中的replication的ACK后，增加HW（high watermark，最后commit 的offset）并向producer发送ACK

                3.2 Broker 保存消息

                3.2.1 存储方式

                物理上把topic分成一个或多个patition（对应 server.properties 中的num.partitions=3配置），每个patition物理上对应一个文件夹（该文件夹存储该patition的所有消息和索引文件），如下：

                [wxn@hadoop102 logs]$ ll

                drwxrwxr-x. 2 wxn wxn 4096 8月 6 14:37 first-0

                drwxrwxr-x. 2 wxn wxn 4096 8月 6 14:35 first-1

                drwxrwxr-x. 2 wxn wxn 4096 8月 6 14:37 first-2

                [wxn@hadoop102 logs]$ cd first-0

                [wxn@hadoop102 first-0]$ ll

                -rw-rw-r–. 1 wxn wxn 10485760 8月 6 14:33 00000000000000000000.index

                -rw-rw-r–. 1 wxn wxn 219 8月 6 15:07 00000000000000000000.log

                -rw-rw-r–. 1 wxn wxn 10485756 8月 6 14:33 00000000000000000000.timeindex

                -rw-rw-r–. 1 wxn wxn 8 8月 6 14:37 leader-epoch-checkpoint

                3.2.2 存储策略

                无论消息是否被消费，kafka都会保留所有消息。有两种策略可以删除旧数据：

                1）基于时间：log.retention.hours=168

                2）基于大小：log.retention.bytes=1073741824

                需要注意的是，因为Kafka读取特定消息的时间复杂度为O(1)，即与文件大小无关，所以这里删除过期文件与提高 Kafka 性能无关。

                3.2.3 Zookeeper存储结构

                

                注意：producer不在zk中注册，消费者在zk中注册。

                3.3 Kafka消费过程分析

                kafka提供了两套consumer API：高级Consumer API和低级API。

                3.3.1 消费模型

                消息由生产者发布到Kafka集群后，会被消费者消费。消息的消费模型有两种：推送模型（push）和拉取模型（pull）。
                

                基于推送模型（push）的消息系统，由消息代理记录消费者的消费状态。消息代理在将消息推送到消费者后，标记这条消息为已消费，但这种方式无法很好地保证消息被处理。比如，消息代理把消息发送出去后，当消费进程挂掉或者由于网络原因没有收到这条消息时，就有可能造成消息丢失（因为消息代理已经把这条消息标记为已消费了，但实际上这条消息并没有被实际处理）。如果要保证消息被处理，消息代理发送完消息后，要设置状态为“已发送”，只有收到消费者的确认请求后才更新为“已消费”，这就需要消息代理中记录所有的消费状态，这种做法显然是不可取的。

                Kafka采用拉取模型，由消费者自己记录消费状态，每个消费者互相独立地顺序读取每个分区的消息。如下图所示，有两个消费者（不同消费者组）拉取同一个主题的消息，消费者A的消费进度是3，消费者B的消费进度是6。消费者拉取的最大上限通过最高水位（watermark）控制，生产者最新写入的消息如果还没有达到备份数量，对消费者是不可见的。这种由消费者控制偏移量的优点是：消费者可以按照任意的顺序消费消息。比如，消费者可以重置到旧的偏移量，重新处理之前已经消费过的消息；或者直接跳到最近的位置，从当前的时刻开始消费。

                

                在一些消息系统中，消息代理会在消息被消费之后立即删除消息。如果有不同类型的消费者订阅同一个主题，消息代理可能需要冗余地存储同一消息；或者等所有消费者都消费完才删除，这就需要消息代理跟踪每个消费者的消费状态，这种设计很大程度上限制了消息系统的整体吞吐量和处理延迟。Kafka的做法是生产者发布的所有消息会一致保存在Kafka集群中，不管消息有没有被消费。用户可以通过设置保留时间来清理过期的数据，比如，设置保留策略为两天。那么，在消息发布之后，它可以被不同的消费者消费，在两天之后，过期的消息就会自动清理掉。