linux环境配置kafka

下载软件

首先先下载kafka的包，kafka是apache基金会的一部分，官网下载

我原本下载的是最新的3.6.0，但是部署时发生了错误，所以回退到了2.6.0版本

安装包名：kafka_2.13-2.6.0.tgz，其中2.13是scala版本，因为kafka是用scala语言写的，2.6.0是kafka的版本

tar -xvzf kafka_2.13-2.6.0.tgz

把压缩包放到local目录解压

然后cd进入

cd kafka_2.13-2.6.0

可以看到压缩包内总共有这些内容：

其中etc是我新建的，不属于压缩包

bin里都是.sh文件，存放kafka的常用脚本

config里都是.properties文件，存放kafka的常用配置文件

libs里是kafka的依赖

LICENSE是kafka的许可证文件

logs里存放的是kafka执行后产生的日志文件，也不属于压缩包

NOTICE是kafka的声明文件

site-docs里是kafka相关文档的压缩包

配置环境

配置环境主要就是修改config目录里的几个配置文件

为了方便存档和复原，我这里不直接修改config中的文件，而是把配置文件复制到新建的etc目录，再修改etc中的properties

实际生产应该在不同机器上分别部署kafka，我这边在一台机器上部署三个broker，进行伪分布式部署

kafka集群需要使用zookeeper进行管理（2.8.0后已经不需要了，这里版本是2.6.0），所以除了kafka以外还需要进行zookeeper的配置。

那要复制的配置文件就是：

• zookeeper配置
• server配置*3

  把相关的配置文件复制到etc目录

  由于我是在同一台机器上部署三个broker，每个broker都需要自己的配置文件，所以server的配置文件总共要复制三份

  cd config
  cp zookeeper.properties ../etc/zookeeper.properties
  cp server.properties ../etc/server-0.properties
  cp server.properties ../etc/server-1.properties
  cp server.properties ../etc/server-2.properties
  

  然后修改配置文件

  zookeeper.properties可以保持不变

  三个server.properties是类似的

  cd ../etc
  vim zookeeper.properties
  vim server-0.properties
  

  broker.id分别设为0、1、2

  #listeners=PLAINTEXT://:9092 这一行注释去掉，端口分别设为9092、9093、9094

  

  下面log.dirs=/tmp/kafka-logs分别修改为log.dirs=/tmp/kafka-logs-0、log.dirs=/tmp/kafka-logs-1、log.dirs=/tmp/kafka-logs-2

  保存退出

  etc目录现在一共四个文件，都已经配置好了

  

  启动kafka

  首先启动zookeeper

  cd ../bin
  ./zookeeper-server-start.sh ../etc/zookeeper.properties
  

  然后在三个新窗口分别启动三个server

  ./kafka-server-start.sh ../etc/server-0.properties
  ./kafka-server-start.sh ../etc/server-1.properties
  ./kafka-server-start.sh ../etc/server-2.properties
  

  在新窗口新建topic “test”

  ./kafka-topics.sh --zookeeper localhost:2181 --create --topic test --partitions 3 --replication-factor 2
  

  创建一个消费者

  ./kafka-console-consumer.sh --bootstrap-server localhost:9092 localhost:9093 localhost:9094 --topic test
  

  在新窗口创建一个生产者

  ./kafka-console-producer.sh --broker-list localhost:9092 localhost:9093 localhost:9094 --topic test
  

  然后我们在生产者发送的消息都能被消费者接收到