[kafka] Docker 사용하여 카프카 클러스터 구성하기

2021.06.20 - [프로그래밍 노트/인프라] - [kafka] Docker 사용하여 카프카 실행하기

[kafka] Docker 사용하여 카프카 실행하기

기존포스팅에서는 zookeeper 1대, kafka 1대로 구성된 카프카 실행환경을 구성하였었다.

kafka를 학습하다보니, 로컬에서 클러스터로 구성된 환경이 필요했는데 다행히 docker-compose를 사용하여 카프카 클러스터를 구성할 수 있는 github주소를 찾았다.

(Docker가 없었더라면, VirtualBox로 VM을 만들어서 환경을 구성했어야하지 않았을까..ㅜ_ㅜ)

https://github.com/conduktor/kafka-stack-docker-compose

conduktor/kafka-stack-docker-compose

 

$ git clone
$ docker-compose -f zk-multiple-kafka-multiple.yml up

github에 가보면 알겠지만 주키퍼와 브로커 갯수 별로 docker-compose 파일들이 있어서 환경에 맞게 사용하면된다.

zk-multiple-kafka-multiple.yml 은 주키퍼 3대, 카프카 브로커 3대로 구성되어 있다.

full-stack.yml 이 존재하는데, 주키퍼와 카프카 브로커 말고도 kafka topic ui, zoonvigator 같은 관리툴도 제공하고 있다.

 

docker에서 사용하는 이미지 관련한 자료는 아래를 참고하면 된다.

https://hub.docker.com/r/confluentinc/cp-kafka

https://hub.docker.com/_/zookeeper