Canal+RabbitMQ实现MySQL数据同步至ClickHouse

ClickHouse作为一个被广泛使用OLAP分析引擎，在执行分析查询时的速度优势很好的弥补了MySQL的不足，但是如何将MySQL数据同步到ClickHouse就成了用户面临的第一个问题。本文利用Canal来实现ClickHouse实时同步MySQL数据，使用RabbitMQ来做消息队列，给出了将MySQL多张表同步至ClickHouse同一张表的方案。

Canal简介;

Canal主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。

工作原理：

·Canal模拟MySQL slave的交互协议，伪装自己为MySQL slave，向MySQL master发送dump协议

·MySQL master收到dump请求，开始推送binary log给slave(即Canal)

·Canal解析binary log对象(原始为byte流)

RabbitMQ简介

RabbitMQ是一款使用Erlang语言开发的，实现AMQP(高级消息队列协议)的开源消息中间件。

RabbitMQ工作过程：

消息生产者并没有直接将消息发送给消息队列，而是通过建立Exchange（交换器）和Channel（信道），将消息发送给Exchange，Exchange根据routing key，将消息转发给指定的Queue(消息队列)。然后，消息会被消费者从队列里读取并消费。

接下来让我们开始进入实操

MySQL及ClickHouse建表示例

MySQL示例：

CREATE TABLE `test` (

`id` int(11) NOT NULL,

 `name` varchar(100) DEFAULT NULL,

 `quantity` int(11) DEFAULT NULL,

PRIMARY KEY (`id`)

)

ClickHouse示例：

CREATE TABLE default.test

(

 `id` Int32,

`name` String,

`quantity` Int32

)

ENGINE = MergeTree

PRIMARY KEY id

ORDER BY id

MySQL配置

（1）开启binlog

vi /etc/my.cnf 添加下面内容：

server-id = 1

log_bin = /var/lib/mysql/bin.log

binlog-format = row

expire_logs_days = 30

max_binlog_size= 768M

bind-address = 0.0.0.0

重启MySQL服务：

systemctl restart mysqld.service

登陆mysql，查看binlog启动情况：

show variables like 'log_%';

（2）新增同步账号

登陆mysql,执行下面命令，创建账号maxwell，密码为123456

CREATE USER 'maxwell'@'%' IDENTIFIED BY '123456';GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%';flush privileges;

rabbitMQ配置

登录http://IP:15672，进入rabbitMQ管理页面（账号和密码默认都是guest）

（1）新建同步用户

注1：不要使用初始guest账户，在canal连接时，权限会不够。

注2：密码中除了下划线，不要使用特殊字符，否则canal消费端配置会报错。

新建cktest用户如下：

（2）新建交换机

（3）新建队列

（4）绑定交换机和队列

点击下图红框处

绑定交换机和队列

canal服务端安装配置

（1）安装

下载canal安装包

wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.deployer-1.1.5.tar.gz

/opt下创建canal目录

mkdir canal

解压到指定目录

tar zxvf canal.deployer-1.1.5.tar.gz -C canal

（2）配置

服务端要配置两个文件conf文件下canal.properties、example文件夹中的instance.properties

配置canal.properties

选择模式

配置读取mysql二进制文件的用户名和密码

设置RabbitMQ相关属性

rabbitmq.exchange 填写mq队列相对应的交换机名称

rabbitmq.deliveryMode = 2（2表示Durable持久化）

配置instance.properties

配置MySQL数据库的IP地址和端口

设置用户和密码

表过滤 (.*\\..*)所有库所有表  (xxx\\..*)指定库所有表 (xxx\\.xxx)指定库指定表，如果多个用英文逗号隔开

canal.mq.topic=example-routingkey 配置交换机和队列的routingkey

canal客户端安装配置

（1）安装

下载canal安装包

wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.adapter-1.1.5.tar.gz

/opt下创建canal-client目录

mkdir canal-client

解压到指定目录

tar zxvf canal.adapter-1.1.5.tar.gz -C canal-client

在lib目录下要导入几个包：

clickhouse-jdbc-qbe-0.2.4-jar-with-dependencies.jar

httpclient-4.5.5.jar

httpcore-4.4.9.jar

lz4-1.3.0.jar

lz4-java-1.4.1.jar

（2）配置

canal客户端配置包含两部分。application.yml（应用配置）和rdb文件夹中xxx.yml配置（数据映射配置）

配置application.yml

选择模式

rabbitMQ消费者配置

源数据库配置

目标数据库配置

instance: ck-queue配置rabbitmq的队列

key：example-routingkey填写mq队列的key

配置mytest_user.yml

注：一个yml文件，仅可编辑一张表的映射关系，多张表就要新建多个配置文件。

dataSourceKey: 对应application.yml中的配置，默认为defaultDS

destination: 对应application.yml中的instance配置

targetTable: 目标库的目标表，不需要带数据库名称，否则会出现：库名.库名.表名的错误

mapAll: 映射关系true为全映射，false为非全映射，若为非全映射，则需要编辑targetColumns下面的配置来进行字段映射

结果演示

我们配置了mytest_user.yml、test1.yml两个文件，将MySQL中的两个表同步至ClickHouse。

启动canal，在canal目录下：

bin/startup.sh

查看server日志：

tail -200f logs/canal/canal.log

查看instance日志：

tail -200f logs/example/example.log

启动canal-client，在canal-client目录下：

bin/startup.sh

canal-client目录下查看日志：

tail -200f logs/adapter/adapter.log

向MySQL的test表中写入数据

source /opt/test.sql;

可以看到canal客户端会输出如下日志：

进入ClickHouse中查看数据

再向MySQL的test1表中写入数据：

insert into test1 values(10001,'apple',13);

进入ClickHouse中查看数据

可以看到数据已经同步至ClickHouse。

获取更多内容，欢迎关注万山数据！