ELK?

얼마전에 ELK라는 이야기를 듣고 무엇인가에 대해서 찾아보게 되었습니다.
쉽게 말해서는 많은 데이터를 수집, 저장, 시각화하는 도구라고 생각하면 됩니다.
접근성과 용이성이 좋아 최근 가장 핫한 Log 및 데이터 분석 도구 입니다.

 

E. ElasticSearch

• ElasticSearch는 Lucene 기반으로 개발한 분산 검색엔진으로, Logstash를 통해 수신된 데이터를 저장소에 저장하는 역할을 담당
• 데이터를 중심부에 저장하여 예상되는 항목을 검색하고 예상치 못한 항목을 밝혀낼 수 있습니다.
• 정형, 비정형, 위치정보, 메트릭 등 원하는 방법으로 다양한 유형의 검색을 수행하고 결합할 수 있습니다.

L. Logstash

• 오픈소스 서버측 데이터 처리 파이프라인으로, 다양한 소스에서 동시에 데이터를 수집하고 변환하여 stash 보관소로 보냅니다.
• 수집할 로그를 선정해서, 지정된 대상 서버(ElasticSearch)에 인덱싱하여 전송하는 역할을 담당하는 소프트웨어

K. Kibana

• 데이터를 시각적으로 탐색하고 실시간으로 분석 할 수 있습니다.
• 시각화를 담당하는 HTML + Javascript 엔진이라고 보면 됩니다.

그런데 말입니다.

이것에 Beats 추가되면서 다른 이름으로 부른다고 합니다.

 

ELK Stack

 

Beats : 서버에 에이전트로 설치하여 다양한 유형의 데이터를 ElasticSearch 또는 Logstash에 전송하는 오픈 소스 데이터 발송자가 됩니다.

 

전체 흐름은 Beats -> Logstash -> ElasticSearch -> Kibana 입니다.