Elasticsearch：最佳實務概覽

情境

文檔

資料擷取

• 主機日誌採集

  • 通過Filebeats採集ECS服務日誌

  • 通過自建Filebeat收集MySQL日誌

  • 通過Filebeat採集Apache日誌資料

  • 通過Metricbeat收集系統資料及Nginx服務資料

  • 通過Auditbeat收集系統審計資料並監控檔案更改

  • 通過Heartbeat檢測ICMP及HTTP服務

  • Elastic Agent採集Nginx日誌資料

  • Elastic Agent採集NetFlow日誌資料

  • Elastic Agent採集自訂日誌資料

• 應用日誌採集

  • 通過Elasticsearch和rsbeat即時分析Redis slowlog

• 伺服器資料擷取

  • 通過自建Metricbeat收集系統指標資訊

  • 使用SkyWalking和Elasticsearch實現全鏈路監控

  • 通過Uptime即時監控Elasticsearch服務

  • 通過自建APM Server將資料擷取至Elasticsearch

  • 通過自建Logstash遷移資料到阿里雲ES

資料移轉

• Elasticsearch之間的資料移轉

  • 通過Reindex API遷移資料

  • 基於reindex實現低版本多type資料移轉

  • 遷移Elasticsearch角色和kibana可視化大盤

• 自建Elasticsearch資料移轉至Elasticsearch

  • 通過線上遷移工具將自建Elasticsearch資料移轉至阿里雲

  • 通過阿里雲Logstash將自建Elasticsearch資料移轉至阿里雲

  • 通過reindex將自建ES資料移轉至阿里雲

  • 通過elasticsearch-dump工具遷移資料

  • 通過執行個體私網打通將自建Elasticsearch資料移轉至阿里雲

  • 通過指令碼實現索引結構、模板或ILM的同步

  • 通過Logstash將自建Elasticsearch資料全量或增量遷移至阿里雲

• 第三方Elasticsearch資料移轉至Elasticsearch

  • 將AWS ES中的索引遷移至阿里雲ES

  • 從Solr叢集遷移文檔至Elasticsearch

資料同步

• RDS MySQL

  • 通過Logstash將RDS MySQL資料同步至Elasticsearch

  • 通過DataWorks將MySQL資料同步到Elasticsearch

  • 通過DTS將MySQL資料即時同步到阿里雲ES

  • 通過Canal將MySQL資料同步到阿里雲ES

• RDS SQLServer

  • 通過DataWorks將RDS SQL Server資料同步到阿里雲ES

• PolarDB-X

  • 通過Logstash將PolarDB-X（DRDS）資料同步至Elasticsearch

  • 通過DataWorks將PolarDB-X（DRDS）資料同步到阿里雲ES

• PolarDB MySQL

  • 通過DTS將PolarDB MySQL資料同步至Elasticsearch

• MongoDB

  • 通過Monstache即時同步MongoDB資料至Elasticsearch

• MaxCopute

  • 通過DataWorks將MaxCompute資料同步到阿里雲ES

• Hadoop

  • 通過DataWorks將Hadoop資料同步到阿里雲ES

  • 通過ES-Hadoop實現Hive讀寫Elasticsearch資料

  • 通過ES-Hadoop將HDFS中的資料寫入Elasticsearch

  • 通過ES-Hadoop實現Spark讀寫Elasticsearch資料

• HBase

  • 通過DataWorks將HBase資料同步到阿里雲ES

• 日誌資料

  • 通過Realtime Compute處理資料並同步到ES

• 第三方產品資料

  • 通過Logstash同步Azure Event Hubs資料至Elasticsearch