检索分析服务Elasticsearch版：阿里云Elasticsearch数据采集解决方案

背景信息

对于数据搜索和分析来说，Elasticsearch无处不在。开发人员和社区可使用Elasticsearch寻找各种各样的使用场景，从应用程序搜索和网站搜索，到日志、基础架构监测、APM和安全分析，不一而足。虽然现在有针对这些场景的免费解决方案，但是开发人员仍需要先将其数据提供给Elasticsearch。

Elasticsearch提供了灵活的RESTful API，用于与客户端应用程序进行通信。因此通过调用RESTful API，可以完成数据采集、搜索和分析，以及管理集群及其索引的操作。

Elastic Beats

Elastic Beats是一组轻量型的数据采集器，可以方便地将数据发送给Elasticsearch服务。由于是轻量型的，Beats不会产生太多的运行开销，因此，可以在硬件资源有限的设备（如 IoT 设备、边缘设备或嵌入式设备）上运行和收集数据。如果您需要收集数据，但没有资源来运行资源密集型数据收集器，那么Beats会是您最佳的选择。这种无处不在（涵盖所有联网设备）的数据收集方式，能够让您快速检测到异常情况并做出反应，例如系统范围内的问题和安全事件等。

当然，Beats并不局限于资源有限的系统，它们还可用于具有更多可用硬件资源的系统。

请参见通过自建Metricbeat收集系统指标信息学习Beats的使用方法，其他Beats的使用方法与此类似。

Logstash

Logstash是一个强大而灵活的工具，可以读取、处理和传送任何类型的数据，并且具有丰富的功能，但对设备资源的要求较高。目前Beats还不支持Logstash提供的一些丰富的功能，或者通过Beats执行成本太高，例如通过查找外部数据源来丰富文档。但是Logstash的硬件要求显著高于Beats，因此Logstash通常不应部署在低资源设备上，在Beats功能不足以满足特定应用场景要求的情况下，可使用Logstash进行代替。

一种常见的架构模式是将Beats和Logstash组合起来：使用Beats来收集数据，并使用Logstash来执行Beats无法执行的数据处理任务。

阿里云Elasticsearch提供了Logstash服务。阿里云Logstash作为服务器端的数据处理管道，提供了100%兼容开源的Logstash功能，能够动态地从多个来源采集数据、转换数据，并且将数据存储到所选择的位置。通过输入、过滤和输出插件，Logstash可以对任何类型的事件进行加工和转换。

1. 按照如下示例配置阿里云Logstash管道。

   input { 
     rss { 
       url => "/blog/feed" 
       interval => 120 
     } 
   } 
   filter { 
     mutate { 
       rename => [ "message", "blog_html" ] 
       copy => { "blog_html" => "blog_text" } 
       copy => { "published" => "@timestamp" } 
     } 
     mutate { 
       gsub => [  
         "blog_text", "<.*?>", "",
         "blog_text", "[\n\t]", " " 
       ] 
       remove_field => [ "published", "author" ] 
     } 
   } 
   output { 
     stdout { 
       codec => dots 
     } 
     elasticsearch { 
       hosts => [ "https://<your-elsaticsearch-url>" ] 
       index => "elastic_blog" 
       user => "elastic" 
       password => "<your-elasticsearch-password>" 
     } 
   }

   hosts需要替换为<对应阿里云Elasticsearch实例的私网地址>:9200；password需要替换为对应阿里云Elasticsearch的访问密码。

2. 在Kibana控制台中，查看索引数据。

   POST elastic_blog/_search

   详细操作方法请参见查看数据同步结果。

语言客户端

通过Elasticsearch提供的客户端，您可以将数据采集与自定义应用程序代码集成。这些客户端是抽象出数据采集低层细节的库，使您能够专注于特定应用程序的实际工作。目前Elasticsearch支持多种客户端语言，包括Java、JavaScript、Go、.NET、PHP、Perl、Python和Ruby等，更多支持的客户端语言以及您所选语言的详细信息和代码示例，请参见官方支持的Elasticsearch客户端。

如果您的应用程序所使用的语言不在官方支持的客户端语言中，可以在社区贡献的客户端中查找相关文档。

Kibana开发工具

PUT my_first_index/_doc/1 
{ 
    "title" :"How to Ingest Into Elasticsearch Service",
    "date" :"2019-08-15T14:12:12",
    "description" :"This is an overview article about the various ways to ingest into Elasticsearch Service" 
}

总结

相关文档

• 如何将数据采集到 Elasticsearch服务

• 应该使用Logstash还是Elasticsearch采集节点数据

• 使用Beats系统模块将系统日志和指标获取到Elasticsearch