部署Kafka集群

Kafka集群部署:K8S & Docker Compose

部署Kafka集群

Kafka集群部署:K8S & Docker Compose

标签: kafka   kubernetes   apache   ETL  

最近在学习DDD Event Storming以及ETL工具时,对Apache Kafka产生了很大的兴趣,准备搭建一套Development环境方便之后的学习。

image-20211025173829211

部署Kafka集群

在Kubernetes上部署

部署Strimzi Operator

对比了很多种安装方式,本文将选择使用strimzi + Helm方式部署,简单高效,而且也可在生产环境中部署。strimzi提供了一个Operator来创建Kafka集群,如果想换其他方式,可以选择Bitnami的Kafka Helm Chart。

1)首先第一步添加strimzi的helm repo:

image-20211025172419836

2)之后下载官方的Helm Values,其中很多镜像是quay.io仓库的,导致无法下载,这里已经替换成了个人的docker镜像。

image-20211025171923514

3)执行如下Helm命令部署strimzi operator:

image-20211025172021089

创建Kafka集群

将如下脚本,保存为:kafka-persistent-single.yaml

image-20211025172859589

执行如下脚本:

image-20211025173046437

观察POD启动情况:

image-20211025130819863

验证结果

生产者消费者的脚本如下:

image-20211025174447353

实际演示效果:

image-20211025145228092

以上可以看出Kafka集群已经部署成功,并能成功发送消息以及接收消息。

Docker Compose部署

docker-compose.yaml脚本内容如下:

image-20211025172154377

使用docker-compose命令启动后,Mac电脑安装Conduktor软件验证,如下图所示:

image-20211025154330234

Reference

  1. Apache Kafka官网:https://kafka.apache.org/
  2. Strimzi官网:https://strimzi.io/

「真诚赞赏,手留余香」

请我喝杯咖啡?

使用微信扫描二维码完成支付

相关文章