ApsaraDB for HBase：Log Service（SLS）增量匯入

注意事項

Log Service（SLS）增量匯入功能於2023年3月10日下線。2023年3月10日後購買的LTS將無法使用Log Service（SLS）增量匯入功能，2023年3月10日前購買的LTS仍可正常使用此功能。

前提條件

• 已購買LTS資料移轉同步服務，配置LTS操作頁面賬戶密碼，並登入LTS操作頁面。

• 已登入LTS操作頁面， 建立HBase資料來源。

• 已登入LTS操作頁面， 建立Loghub資料來源。

HBase版本

• 自建HBase1.x、2.x （未開啟kerberos）。

• EMR HBase。

• 標準版雲HBase、增強版雲HBase（叢集版本， 暫不支援單機版）。

任務建立

1. 進入BDS操作頁面，選擇左側導覽列匯入Lindorm/HBase > SLS即時資料複製。

2. 單擊建立任務，源叢集選擇對應的loghub（SLS）和目標資料來源（HBase、Phoenix），選擇HBase資料來源，填寫欄位對應mapping。

3. 單擊建立，查看通道詳情。

參數說明

{
  "reader": {
    "columns": [
      "__client_ip__",
      "C_Source",
      "id",
      "name"
    ],
    "consumerSize": 2, // 指定有多少個consumer訂閱loghub的資料，預設是1
    "logstore": "bds-test"
  },
  "writer": {
    "columns": [
      {
        "name": "f:col1",
        "value": "{{ concat('xx', name) }}" // 支援運算式
      },
      {
        "name": "f:col2",
        "value": "__client_ip__" // 列名映射
      },
      {
        "name": "f:*" // 沒有匹配到的列會走預設的匹配
      }
    ],
    "rowkey": {
      "value": "{{ concat('idg',id) }}"
    },
    "tableName": "default:sls"
  }
}

• 支援簡單的運算式，如下

{
  "name": "cf1:hhh",
  "value": "{{ concat(title, id) }}"
}