ELK Lesson 1:ELK簡介

What is ELK

ELK是Elasticsearch + Logstash + Kibana的縮寫,依據不同的組合,還有EFK (Filebeat)等組合,基本上隨個人在不同的場景與需求做組合。

那ELK及其他每個服務又分別有什麼功能呢?

  • Elasticsearch => 一個基於Lucene庫的搜尋引擎,並提供大量資料儲存與搜尋的能力。
  • Logstash => 可以視作一個ETL工具,能收集、解析、轉制資料。
  • Kibana => 將資料視覺化的軟體,讓資料能以人性化的觀點被解讀。
  • Filebeat => 讀取各種格式與形式的檔案,並提取內容的工具。
  • Metricbeat => 收集目標的效能指標。

官方網站:https://www.elastic.co/

一個用於IT基礎設施完整且推薦的ELK架構

將整個架構分為四個區塊,分別是資料收集、資料處理、資料儲存與資料視覺化,其定義來自於對資料的操作方式,看其命名就可知這點!

整個架構如下圖:

elk

這個系列的目標

ELK有很多種應用,包含企業私有的搜尋引擎、大數據分析平台…等,但這個系列的目標是要使用ELK建構一個監控資訊系統基礎設施與應用系統服務狀態的平台,簡單說,就是利用ELK作為企業級的監控平台,能簡單明瞭的整合各層系統的資料,包括網路設備、實體伺服器、虛擬機、作業系統、應用伺服器、應用程式、資料庫…等,比過往更具整合性的分析資訊系統的即時狀態。

最終,我們將會建立如上所述的一整套ELK平台,包括:

  1. 三個節點的Elasticsearch Cluster
  2. 一個用於接收Metricbeat的Logstash節點
  3. 一個用於接收Filebeat的Logstash節點
  4. 一個APM伺服器
  5. 一個用於監控服務的Heartbeat服務
  6. 一個用於發告警的ElastAlert服務

Let’s do it!

~ END ~


, , , , ,

Related posts

Latest posts