![]()
실행에 앞서 PC에 docker가 설치되어 있어야 한다. 1. kafka-docker repository clone $ git clone https://github.com/wurstmeister/kafka-docker 2. docker-compose-single-borker.yml 수정 해당 compose 파일을 사용하면 zookeeper-1대, broker(kafka)-1대 를 실행시킬 수 있다. multi broker는 나중에 기회가 되면 셋팅 해보자. 로컬에서 실행하므로 KAFKA_ADVERTISED_HOST_NAME을 127.0.0.1로 수정한다. version: '2' services: zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181"..
![]()
2021.05.04 - [프로그래밍 노트/인프라] - [kafka] 카프카 고가용성과 리플리케이션(장애 극복 방법) 대용량의 실시간 데이터 처리 배치 전송, 파티션, 분산 기능 구현 고가용성 중앙 시스템 역할을 하는 중요한 서비스에서 장애가 발생하더라도 서비스에 영향이 없도록 데이터의 안정적인 저장을 위해 리플리케이션 기능과 분산된 서버에서 자동으로 파티션의 리더를 선출하는 기능을 구현 카프카 디자인 특징 1. 분산 시스템 분산 시스템 장점 단일 시스템보다 더 높은 성능 하나의 서버(노드) 등이 장애가 발생하면 다른 서버(노드)가 대신 처리 시스템 확장 용이 2. 페이지 캐시 처리량을 높이기 위한 전략으로 페이지 캐시 기능 추가 빠른 액세스를 하기 위해 OS의 페이지 캐시를 이용하도록 디자인 페이지 캐시..
