检索分析服务Elasticsearch版：最佳实践概览

场景

文档

数据采集

• 主机日志采集

  • 通过Filebeats采集ECS服务日志

  • 通过自建Filebeat收集MySQL日志

  • 通过Filebeat采集Apache日志数据

  • 通过Metricbeat收集系统数据及Nginx服务数据

  • 通过Auditbeat收集系统审计数据并监控文件更改

  • 通过Heartbeat检测ICMP及HTTP服务

  • Elastic Agent采集Nginx日志数据

  • Elastic Agent采集NetFlow日志数据

  • Elastic Agent采集自定义日志数据

• 应用日志采集

  • 通过Elasticsearch和rsbeat实时分析Redis slowlog

• 服务器数据采集

  • 通过自建Metricbeat收集系统指标信息

  • 使用SkyWalking和Elasticsearch实现全链路监控

  • 通过Uptime实时监控阿里云Elasticsearch服务

  • 通过自建APM Server将数据采集至阿里云Elasticsearch

  • 通过自建Logstash迁移数据到阿里云ES

数据迁移

• 阿里云Elasticsearch之间的数据迁移

  • 通过Reindex API迁移数据

  • 基于reindex实现低版本多type数据迁移

  • 迁移Elasticsearch角色和kibana可视化大盘

• 自建Elasticsearch数据迁移至阿里云Elasticsearch

  • 通过在线迁移工具将自建Elasticsearch数据迁移至阿里云

  • 通过阿里云Logstash将自建Elasticsearch数据迁移至阿里云

  • 通过reindex将自建ES数据迁移至阿里云

  • 通过elasticsearch-dump工具迁移数据

  • 通过实例私网打通将自建Elasticsearch数据迁移至阿里云

  • 通过脚本实现索引结构、模板或ILM的同步

  • 通过Logstash将自建Elasticsearch数据全量或增量迁移至阿里云

• 第三方Elasticsearch数据迁移至阿里云Elasticsearch

  • 将AWS ES中的索引迁移至阿里云ES

  • 从Solr集群迁移文档至阿里云Elasticsearch

数据同步

• RDS MySQL

  • 通过Logstash将RDS MySQL数据同步至Elasticsearch

  • 通过DataWorks将MySQL数据同步到阿里云Elasticsearch

  • 通过DTS将MySQL数据实时同步到阿里云ES

  • 通过Canal将MySQL数据同步到阿里云ES

• RDS SQLServer

  • 通过DataWorks将RDS SQL Server数据同步到阿里云ES

• PolarDB-X

  • 通过Logstash将PolarDB-X（DRDS）数据同步至Elasticsearch

  • 通过DataWorks将PolarDB-X（DRDS）数据同步到阿里云ES

• PolarDB MySQL

  • 通过DTS将PolarDB MySQL数据同步至Elasticsearch

• MongoDB

  • 通过Monstache实时同步MongoDB数据至Elasticsearch

• MaxCopute

  • 通过DataWorks将MaxCompute数据同步到阿里云ES

• Hadoop

  • 通过DataWorks将Hadoop数据同步到阿里云ES

  • 通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据

  • 通过ES-Hadoop将HDFS中的数据写入Elasticsearch

  • 通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据

• HBase

  • 通过DataWorks将HBase数据同步到阿里云ES

• 日志数据

  • 通过实时计算处理数据并同步到ES

• 第三方产品数据

  • 通过Logstash同步Azure Event Hubs数据至Elasticsearch