logstash

로그 정보를 이용해서 데이터 분석 및 여러가지로 활용할 수 있지만 로그 활용은 그렇게 간단하지만은 않다. 로그 형태가 표준화되어 있지 않기 때문인데, 로그는 반정형 데이터이며 세상의 모든 것이 로그가될 수 있기 때문에 로그 형태를 강제할 방법도 없다. 결국 로그를 수집하는 쪽에서 로그 형태를 분석하고 시스템에서 인식할 수 있도록 로그를 정제하는 작업이 필요한데, 로그스태시는 이 과정을 쉽고 편하게 할 수 있도록 지원한다. 로그스태시를 한페이지로 정리해보자. 로그스태시란? 플러그인 기반의 오픈소스 데이터 처리 파이프라인 도구 복잡하고 귀찮은 데이터 전처리 과정을 별도 애플리케이션 작성 없이 비교적 간단한 설정만으로 수행할 수 있음(데이터를 저장하기 전 사용자가 원하는 형태로 변경할 수 있음) 장애 대응 로..

엘라스틱 스택? 키바나 - 시각화 엘라스틱서치 - 데이터 저장 & 검색 엔진 비츠/로그스태시 - 데이터 수집 엘라스틱서치: 분산 검색 엔진 모든 레코드를 JSON 도큐먼트 형태로 입력하고 관리 검색 엔진이면서 데이터베이스이기도 함(일종의 NoSQL 이라고 생각해도..?) 키바나: 시각화와 엘라스틱서치 관리 도구 엘라스틱 스택의 UI를 담당한다. 가장 중요한 기능은 시각화와 대시보드 라인 차트, 파이 차트 등과 테이블, 지도 등의 다양한 시각화 요소들을 클릭 몇 번으로 쉽게 구성할 수 있게 해준다. 로그스태시: 이벤트 수집과 정제를 위한 도구 데이터 수집과 가공 기능을 제공하는 로그스태시를 사용하면 로그, 메트릭, 웹 애플리케이션 등 다양한 소스로부터 로그를 수집할 수 있다. 형식에 무관하게 데이터를 동적..