用 docker-compose 起一套 ZooKeeper 架构的三节点 Kafka 集群,再配 Kafka Connect 把 topic 数据自动同步到 Elasticsearch,一个 topic 对应一个 index。下面把 IP 都写成 <HOST_IP> 占位,部署时换成宿主机地址。
三节点集群(ZooKeeper 架构)
用 bitnami 的镜像,一个 ZooKeeper 控制器 + 三个 broker + 一个可视化管理页。关键在每个 broker 的 KAFKA_CFG_ADVERTISED_LISTENERS 要写宿主机能访问到的地址,否则外部客户端连不上。