Lindorm：SLS增量匯入

注意事項

SLS增量匯入功能於2023年6月16日下線。2023年6月16日後購買的LTS將無法使用SLS增量匯入功能，2023年6月16日前購買的LTS仍可正常使用此功能。

前提條件

• 已登入LTS操作頁面，具體操作請參見建立同步任務。

• 已添加Lindorm SQL資料來源，具體操作請參見添加Lindorm SQL資料來源。

• 已添加Loghub資料來源。

支援匯入的目標表類型

使用Lindorm SQL建立的表。

操作步驟

1. 在LTS操作頁面，單擊匯入Lindorm/HBase > SLS即時資料複製。

2. 在SLS即時資料複製頁面，單擊建立任務。

3. 自訂通道名稱，選擇源叢集和目的地組群，填寫同步或遷移的表。

4. 單擊建立。建立成功後，查看通道詳情。

參數說明

{
  "reader": {
    "columns": [
      "__client_ip__",
      "C_Source",
      "id",
      "name"
    ],
    "consumerSize": 2, // 指定有多少個consumer訂閱loghub的資料，預設是1
    "logstore": "LTS-test"
  },
  "writer": {
    "columns": [
      {
        "name": "col1",
        "value": "{{ concat('xx', name) }}" // 支援運算式
      },
      {
        "name": "col2",
        "value": "__client_ip__" // 列名映射
      },
      {
        {
            "isPk":true,//是否是主鍵
            "name":"id",//主鍵不需要指定cf
            "value":"id"
        }
      }
    ]
    "tableName": "default.sls"
  }
}
            

支援簡單Jtwig文法。

{
  "name": "hhh",
  "value": "{{ concat(title, id) }}"
}