EFK(1) - 介紹 ELK Stack( Elasticsearch + Logstash + Kibana)

less than 1 minute read

ELK

整體架構

  • 最左邊的 Logstash Shipper 用來運送 Log 到 Log 處理中心。
  • Redis 當做 Buffer 來緩衝資料量瞬間爆量的問題。
  • 右邊的 Logstash 將 Log 加工成 Elasticserach、Kibana 可以處理的格式。
  • Kibana 是一個後台,可以看到我們所有蒐集的 Log,輸入搜尋條件後就可以很快的找到需要的資料。

為什麼我們要蒐集 log?

  • 想像一下在被攻擊時我想列出某一ip的所有記錄或是某個使用者的行為蹤跡,以做對應的處理。
  • 伺服器在記憶體標高的那段時間系統到底做了些什麼事情,可以幫助我們迅速找到系統問題、對症下藥。


Logstash

Logstash 是一套 Log 分析框架,可以幫助我們處理各式各樣的 Log

2.1 Beats 介紹

Beat 即為 logstash forwarder 又稱為 shipper,因為之前的 logstash forwarder 有著效能問題,elastic.co 公司推出 Beat 來取代之。除了原本的 log 蒐集(filebeat)以外,也可以監控系統狀態(metricbeat),或是伺服器網路是否正常運作(heartbeat) 除此之外,社群上也有大量各式各樣的 Beat (Community Beats | Beats Platform Reference 5.2 | Elastic) 可以使用

Elasticsearch

Kibana

Kibana 是一個可以顯示 Logstash 處理後格式的後台。資料儲存於 Elasticsearch。 整理與視覺化我們需要的資料。

Leave a Comment