ELK Lesson 1:ELK簡介
What is ELK
ELK是Elasticsearch + Logstash + Kibana的縮寫,依據不同的組合,還有EFK (Filebeat)等組合,基本上隨個人在不同的場景與需求做組合。
那ELK及其他每個服務又分別有什麼功能呢?
- Elasticsearch => 一個基於Lucene庫的搜尋引擎,並提供大量資料儲存與搜尋的能力。
- Logstash => 可以視作一個ETL工具,能收集、解析、轉制資料。
- Kibana => 將資料視覺化的軟體,讓資料能以人性化的觀點被解讀。
- Filebeat => 讀取各種格式與形式的檔案,並提取內容的工具。
- Metricbeat => 收集目標的效能指標。
一個用於IT基礎設施完整且推薦的ELK架構
將整個架構分為四個區塊,分別是資料收集、資料處理、資料儲存與資料視覺化,其定義來自於對資料的操作方式,看其命名就可知這點!
整個架構如下圖:
這個系列的目標
ELK有很多種應用,包含企業私有的搜尋引擎、大數據分析平台…等,但這個系列的目標是要使用ELK建構一個監控資訊系統基礎設施與應用系統服務狀態的平台,簡單說,就是利用ELK作為企業級的監控平台,能簡單明瞭的整合各層系統的資料,包括網路設備、實體伺服器、虛擬機、作業系統、應用伺服器、應用程式、資料庫…等,比過往更具整合性的分析資訊系統的即時狀態。
最終,我們將會建立如上所述的一整套ELK平台,包括:
- 三個節點的Elasticsearch Cluster
- 一個用於接收Metricbeat的Logstash節點
- 一個用於接收Filebeat的Logstash節點
- 一個APM伺服器
- 一個用於監控服務的Heartbeat服務
- 一個用於發告警的ElastAlert服務
Let’s do it!
~ END ~