2021.06.20 - [프로그래밍 노트/인프라] - [kafka] Docker 사용하여 카프카 실행하기 [kafka] Docker 사용하여 카프카 실행하기 실행에 앞서 PC에 docker가 설치되어 있어야 한다. 1. kafka-docker repository clone $ git clone https://github.com/wurstmeister/kafka-docker 2. docker-compose-single-borker.yml 수정 해당 compose 파일을.. cornswrold.tistory.com 기존포스팅에서는 zookeeper 1대, kafka 1대로 구성된 카프카 실행환경을 구성하였었다. kafka를 학습하다보니, 로컬에서 클러스터로 구성된 환경이 필요했는데 다행히 docker-com..
zookeeper
주키퍼 설치하기 $ wget http://apache.mirror.cdnetworks.com/zookeeper/stable/apache-zookeeper-3.6.3-bin.tar.gz $ tar xzvf apache-zookeeper-3.6.3.tar.gz $ ln -s apache-zookeeper-3.6.3 zookeeper 주키퍼는 애플리케이션에서 별도의 데이터 디렉토리를 사용 이 디렉토리에는 지노드의 복사본인 스냅샷과 트랜잭션 로그들이 저장 지노드의 변경사항이 발생하면, 변경사항은 트랜잭션 로그에 추가 로그가 어느 정도 커지면, 현재 모든 지노드의 상태 스냅샷이 파일시스템에 저장 스냅샷은 모든 이전 로그들을 대체 중요한 디렉토리이기 때문에 설치 경로와는 다른 경로로 설정하는 것이 바람직하다. 보통..
유튜브로 카프카 관련 영상을 봤는데, 주키퍼란 아이가 등장하였다. 주키퍼에 대해 간략히 조사해보았다. 일단, 주키퍼를 알아보기 위해 카프카가 어떻게 구성되어 있는지 알아야 한다. 카프카 구성 카프카는 크게 프로듀서, 카프카(브로커), 컨슈머, 주키퍼로 분류할 수 있다. 프로듀서 : 카프카와 통신하면서 메시지를 보내는 역할 컨슈머 : 카프카와 통신하면서 메시지를 가져오는 역할 주키퍼 : 컨슈머와 통신, 카프카의 메타데이터 정보를 저장, 카프카의 상태관리 등 목적으로 이용 카프카 주키퍼? 분산 애플리케이션을 사용하게 되면, 분산 애플리케이션 관리를 위한 안정적인 코디네이션 애플리케이션이 추가로 필요하게 된다. 안정적인 코디네이션 서비스로 검증된 주키퍼를 많이 사용하게 된다. 주키퍼 는 분산 애플리케이션을 위..
