Recent Posts

EFK(5) - Fluentd 高可用架構(High Availibity)

less than 1 minute read

架構 之前我們的架構是直接由 fluentd td-agent 傳送到 elasticsearch (如下圖) 為了更高的可用性(High Availibity),我們在中間加入 aggregator 的角色,讓在 td-agent 扮演 forwarder 角色,職責更加單一,forwarder 只負責...

EFK(3) - Rails 與 Fluentd 的串接方法

1 minute read

幾種可以跟 Rails 串接的方式 gem ‘fluent-logger’ Centralize Logs from Ruby Applications 自定解析 fluent/fluent-plugin-grok-parser: Fluentd’s Grok parse...

EFK(2) - 介紹 EFK (Elasticsaerch + Fluentd + Kibana)

less than 1 minute read

Fluentd 介紹 Fluentd 跟 Logstash 扮演的角色相同。 過去 Logstash 的歷史有效能不佳的記錄,Fluentd 在效能上的口碑更好。 如下圖所示,Fluentd 可以將蒐集 Log 負責的過程統一規格化。我們在使用的時候,選用想要蒐集Log樣式的 input plugin, 例...

EFK(1) - 介紹 ELK Stack( Elasticsearch + Logstash + Kibana)

less than 1 minute read

ELK 整體架構 最左邊的 Logstash Shipper 用來運送 Log 到 Log 處理中心。 Redis 當做 Buffer 來緩衝資料量瞬間爆量的問題。 右邊的 Logstash 將 Log 加工成 Elasticserach、Kibana 可以處理的格式。 Kibana 是一個...