logstash-input-maxcompute外掛程式 - Elasticsearch

通過logstash-input-maxcompute外掛程式，您可以讀取MaxCompute離線表的資料到其他資料來源中。

前提條件

您已完成以下操作：

安裝logstash-input-maxcompute外掛程式。
詳情請參見安裝或卸載外掛程式。
開通阿里雲MaxCompute產品，並建立專案、建立表和匯入資料。
詳情請參見MaxCompute官方文檔的準備工作和快速入門章節。

使用logstash-input-maxcompute外掛程式

滿足以上前提條件後，您可以通過設定檔管理管道的方式建立管道任務。在建立管道任務時，按照以下說明配置Pipeline參數，儲存並部署後，即可觸發阿里雲Logstash讀取MaxCompute的資料到目標資料來源中。

配置指令碼如下，相關參數說明請參見參數說明。

input {
    maxcompute {
        access_id => "Your accessId"
        access_key => "Your accessKey"
        endpoint => "maxcompute service endpoint"
        project_name => "Your project"
        table_name => "Your table name"
        partition => "pt='p1',dt='d1'"
        thread_num => 1
        dirty_data_file => "/ssd/1/<Logstash執行個體ID>/logstash/data/XXXXX.txt"
    }
}

output {
    stdout {
        codec => rubydebug
    }
}

重要

目前阿里雲Logstash只支援同一Virtual Private Cloud（Virtual Private Cloud）下的資料轉送，如果源端資料在公網環境下，請參見配置NAT公網資料轉送，通過公網訪問Logstash。
logstash-input-maxcompute外掛程式會全量同步資料到目標資料來源中。

參數說明

logstash-input-maxcompute外掛程式支援的參數如下。

參數	類型	是否必選	說明
`endpoint`	string	是	MaxCompute對外服務的訪問網域名稱，詳情請參見各地區Endpoint對照表（外網串連方式）。
`access_id`	string	是	阿里雲帳號的AccessKey ID。
`access_key`	string	是	阿里雲帳號的Access Key Secret。
`project_name`	string	是	MaxCompute的專案名稱。
`table_name`	string	是	MaxCompute的表名稱。
`partition`	string	是	分區欄位。分區表按照欄位來定義，例如：`sale_date='201911'`，`region='hangzhou'`。
`thread_num`	number	是	線程數，預設為1。
`retry_interval`	number	否	重試的間隔，單位為秒。
`dirty_data_file`	string	是	指定檔案目錄，用於記錄處理失敗的日誌。說明檔案路徑請指定為`/ssd/1/<Logstash執行個體ID>/logstash/data/`。