[엘라스틱 스택] 엘라스틱 스택 찍먹하기

엘라스틱 스택?

• 키바나 - 시각화
• 엘라스틱서치 - 데이터 저장 & 검색 엔진
• 비츠/로그스태시 - 데이터 수집

엘라스틱서치: 분산 검색 엔진

• 모든 레코드를 JSON 도큐먼트 형태로 입력하고 관리
• 검색 엔진이면서 데이터베이스이기도 함(일종의 NoSQL 이라고 생각해도..?)

키바나: 시각화와 엘라스틱서치 관리 도구

• 엘라스틱 스택의 UI를 담당한다.
• 가장 중요한 기능은 시각화와 대시보드
  • 라인 차트, 파이 차트 등과 테이블, 지도 등의 다양한 시각화 요소들을 클릭 몇 번으로 쉽게 구성할 수 있게 해준다.

dashboard

로그스태시: 이벤트 수집과 정제를 위한 도구

• 데이터 수집과 가공 기능을 제공하는 로그스태시를 사용하면 로그, 메트릭, 웹 애플리케이션 등 다양한 소스로부터 로그를 수집할 수 있다.
• 형식에 무관하게 데이터를 동적으로 수집, 변환, 전송하는 구조로되어 있다.

비츠: 엣지단에서 동작하는 경량 수집 도구

• 엘라스틱 스택에는 파일비트, 메트릭비트 등 비츠라고 부르는 경량 수집기가 포함되어 있다.
  • 로그스태시는 많은 기능을 지원하는 만큼 무거움
• 로그스태시 수준의 복잡한 이벤트 가공은 지원하지 않아 가볍다. 따라서 로그스태시 + 비츠를 혼합해 사용하기도 한다.

엘라스틱 스택 용도

1. 전문 검색 엔진
2. 로그 통합 분석 - 이 용도로 사용할 계획
   • 다양한 환경에서 생성되는 로그를 별도의 복잡한 구성 없이 바로 수집 가능
     • 비츠 : 적응 리소스로 각 장비의 로그들을 빠르게 수집
     • 로그스태시 : 다양한 필터를 통해 일원화된 형태로 가공
     • 엘라스틱서치 : 대용량 로그에 대한 빠른 인덱싱 성능과 텍스트 검색 능력을 활용해 로그들을 통합 분석 지원
     • 키바나 : 로그 UI 혹은 대시보드로 로그들을 직관적으로 모니터링할 수 있음
3. 보안 이벤트 분석
4. 애플리케이션 성능 분석 - 고려해볼만 함
   • pinpoint랑 비교해보자.
5. 머신러닝