SLS增量导入 - 云原生多模数据库 Lindorm

本文介绍通过云原生多模数据库 Lindorm控制台将日志服务增量数据导入至Lindorm宽表。

注意事项

SLS增量导入功能于2023年6月16日下线。2023年6月16日后购买的LTS将无法使用SLS增量导入功能，2023年6月16日前购买的LTS仍可正常使用此功能。

前提条件

已登录LTS操作页面，具体操作请参见创建同步任务。
已添加Lindorm SQL数据源，具体操作请参见添加Lindorm SQL数据源。
已添加Loghub数据源。

支持导入的目标表类型

使用Lindorm SQL创建的表。

操作步骤

在LTS操作页面，单击导入Lindorm/HBase > SLS实时数据复制。
在SLS实时数据复制页面，单击创建任务。
自定义通道名称，选择源集群和目标集群，填写同步或迁移的表。
单击创建。创建成功后，查看通道详情。

参数说明

{
  "reader": {
    "columns": [
      "__client_ip__",
      "C_Source",
      "id",
      "name"
    ],
    "consumerSize": 2, // 指定有多少个consumer订阅loghub的数据，默认是1
    "logstore": "LTS-test"
  },
  "writer": {
    "columns": [
      {
        "name": "col1",
        "value": "{{ concat('xx', name) }}" // 支持表达式
      },
      {
        "name": "col2",
        "value": "__client_ip__" // 列名映射
      },
      {
        {
            "isPk":true,//是否是主键
            "name":"id",//主键不需要指定cf
            "value":"id"
        }
      }
    ]
    "tableName": "default.sls"
  }
}

支持简单Jtwig语法。

{
  "name": "hhh",
  "value": "{{ concat(title, id) }}"
}