DataWorks：StarRocks資料來源

支援的版本

• 支援EMR Serverless StarRocks 2.5和3.1版本。

• 支援EMR on ECS：StarRocks 2.1版本。

• 支援社區版StarRocks。社區版StarRocks請參見：StarRocks官方網站。

  說明

  社區版StarRocks的開放性較強，若在資料來源使用過程中出現適配性問題，歡迎

  提交工單反饋。

支援的欄位類型

支援大部分StarRocks類型，包括數實值型別、字串類型、日期類型。

資料同步前準備

為保證資源群組網路連通性，您需要提前將後續要使用的DataWorks獨享資源群組的白名單IP地址添加至EMR Serverless StarRocks執行個體的內網白名單中，同時，還需要允許該網段訪問9030、8030、8040連接埠。

• 各DataWorks獨享資源群組的白名單IP地址可查看以下文檔擷取：

  • 使用獨享Data Integration資源群組執行任務需要在資料庫添加的IP白名單

  • （可選）添加白名單

  • 擷取白名單IP地址：獨享資料服務資源群組

• 添加EMR Serverless StarRocks執行個體白名單的操作入口如下。

  

資料同步任務開發

StarRocks資料同步任務的配置入口和通用配置流程指導可參見下文的配置指導，詳細的配置參數解釋可在配置介面查看對應參數的文案提示。

附錄：指令碼Demo與參數說明

附錄：離線任務指令碼配置方式

如果您配置離線任務時使用指令碼模式的方式進行配置，您需要在任務指令碼中按照指令碼的統一格式要求編寫指令碼中的reader參數和writer參數，指令碼模式的統一要求請參見通過指令碼模式配置離線同步任務，以下為您介紹指令碼模式下的資料來源的Reader參數和Writer參數的指導詳情。

Reader指令碼Demo

{
    "stepType": "starrocks",
    "parameter": {
        "selectedDatabase": "didb1",
        "datasource": "starrocks_datasource",
        "column": [
            "id",
            "name"
        ],
        "where": "id>100",
        "table": "table1",
        "splitPk": "id"
    },
    "name": "Reader",
    "category": "reader"
}

Reader指令碼參數

Writer指令碼Demo

{
    "stepType": "starrocks",
    "parameter": {
        "selectedDatabase": "didb1",
        "loadProps": {
            "row_delimiter": "\\x02",
            "column_separator": "\\x01"
        },
        "datasource": "starrocks_public",
        "column": [
            "id",
            "name"
        ],
        "loadUrl": [
            "1.1.1.1:8030"
        ],
        "table": "table1",
        "preSql": [
            "truncate table table1"
        ],
        "postSql": [
        ]
    },
    "name": "Writer",
    "category": "writer"
}

Writer指令碼參數