DataWorks的Tablestore資料同步支援情況 - DataWorks

Table StoreTablestore是構建在阿里雲飛天分布式系統之上的NoSQL資料存放區服務，Tablestore資料來源為您提供讀取和寫入Tablestore雙向通道的功能，本文為您介紹DataWorks的Tablestore資料同步的能力支援情況。

使用限制

Tablestore Reader和Writer外掛程式實現了從Tablestore讀取和寫入資料，包含行模式、列模式兩種資料讀取與寫入方式，可針對寬表與時序表進行資料讀取與寫入。
- 列模式：在Tablestore多版本模型下，表中的資料群組織為行 > 列 > 版本三級的模式，一行可以有任意列，列名並不是固定的，每一列可以含有多個版本，每個版本都有一個特定的時間戳記（版本號碼）。列模式會將資料匯出為（主索引值，列名，時間戳記，列值）的四元組格式，列模式下匯入的資料也是（主索引值，列名，時間戳記，列值）的四元組格式。
- 行模式：該模式將使用者每次更新的記錄，抽取成行的形式匯出，即（主索引值，列值）的格式。
  行模式下每一行資料對應TableStore表中的一條資料。寫入行模式的資料包含主鍵列列值、普通列列值兩部分。
Tablestore列由主鍵列primaryKey+普通列column組成，源端列順序需要和Tablestore目的端主鍵列+普通列保持一致，否則會產生列映射錯誤。
Tablestore Reader會根據一張表中待讀取的資料的範圍，按照資料同步並發的數目N，將範圍等分為N份Task。每個Task都會有一個Tablestore Reader線程來執行。

支援的欄位類型

目前Tablestore Reader和Tablestore Writer支援所有Tablestore類型，其針對Tablestore類型的轉換列表，如下所示。

類型分類	Tablestore資料類型
整數類	INTEGER
浮點類	DOUBLE
字串類	STRING
布爾類	BOOLEAN
二進位類	BINARY

說明

Tablestore本身不支援日期型類型。應用程式層通常使用Long儲存時間的Unix TimeStamp。
您需要將INTEGER類型的資料，在指令碼模式中配置為INT類型，DataWorks會將其轉換為INTEGER類型。如果您直接配置為INTEGER類型，日誌將會報錯，導致任務無法順利完成。

建立資料來源

在進行資料同步任務開發時，您需要在DataWorks上建立一個對應的資料來源，操作流程請參見建立並管理資料來源，詳細的配置參數解釋可在配置介面查看對應參數的文案提示。

資料同步任務開發

資料同步任務的配置入口和通用配置流程可參見下文的配置指導。

單表離線同步任務配置指導

操作流程請參見通過指令碼模式配置離線同步任務。
指令碼模式配置的全量參數和指令碼Demo請參見下文的附錄二：Writer指令碼Demo與參數說明。

附錄一：Reader指令碼Demo與參數說明

離線任務指令碼配置方式

如果您配置離線任務時使用指令碼模式的方式進行配置，您需要按照統一的指令碼格式要求，在任務指令碼中編寫相應的參數，詳情請參見通過指令碼模式配置離線同步任務，以下為您介紹指令碼模式下資料來源的參數配置詳情。

Reader指令碼Demo

行模式讀取寬表配置

{
    "type":"job",
    "version":"2.0",//版本號碼。
    "steps":[
        {
            "stepType":"ots",//外掛程式名。
            "parameter":{
                "datasource":"",//資料來源。
                "newVersion":"true",//使用新版otsreader
                "mode": "normal",// 行模式讀取資料
                "isTimeseriesTable":"false",// 配置該表為寬表（非時序表）
                "column":[//欄位。
                    {
                        "name":"column1"//欄位名。
                    },
                    {
                        "name":"column2"
                    },
                    {
                        "name":"column3"
                    },
                    {
                        "name":"column4"
                    },
                    {
                        "name":"column5"
                    }
                ],
                "range":{
                    "split":[
                        {
                            "type":"STRING",
                            "value":"beginValue"
                        },
                        {
                            "type":"STRING",
                            "value":"splitPoint1"
                        },
                        {
                            "type":"STRING",
                            "value":"splitPoint2"
                        },
                        {
                            "type":"STRING",
                            "value":"splitPoint3"
                        },
                        {
                            "type":"STRING",
                            "value":"endValue"
                        }
                    ],
                    "end":[
                        {
                            "type":"STRING",
                            "value":"endValue"
                        },
                        {
                            "type":"INT",
                            "value":"100"
                        },
                        {
                            "type":"INF_MAX"
                        },
                        {
                            "type":"INF_MAX"
                        }
                    ],
                    "begin":[
                        {
                            "type":"STRING",
                            "value":"beginValue"
                        },
                        {
                            "type":"INT",
                            "value":"0"
                        },
                        {
                            "type":"INF_MIN"
                        },
                        {
                            "type":"INF_MIN"
                        }
                    ]
                },
                "table":""//表名。
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//錯誤記錄數。
        },
        "speed":{
            "throttle":true,//false代表不限流，下面的限流的速度不生效，true代表限流。
            "concurrent":1 //作業並發數。
            "mbps":"12"//限流
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

行模式讀時序表配置

{
    "type":"job",
    "version":"2.0",//版本號碼。
    "steps":[
        {
            "stepType":"ots",//外掛程式名。
            "parameter":{
                "datasource":"",//資料來源。
                "table": "",//表名
                // 讀時序資料mode必須為normal
                "mode": "normal",
                // 讀時序資料newVersion必須為true
                "newVersion": "true",
                // 配置該表為時序表
                "isTimeseriesTable":"true",
                // measurementName：配置需要讀取時序資料的度量名稱，非必需，為空白則讀取全表資料
                "measurementName":"measurement_1",
                "column": [
                  {
                    "name": "_m_name"
                  },
                  {
                    "name": "tagA",
                    "is_timeseries_tag":"true"
                  },
                  {
                    "name": "double_0",
                    "type":"DOUBLE"
                  },
                  {
                    "name": "string_0",
                    "type":"STRING"
                  },
                  {
                    "name": "long_0",
                    "type":"INT"
                  },
                  {
                    "name": "binary_0",
                    "type":"BINARY"
                  },
                  {
                    "name": "bool_0",
                    "type":"BOOL"
                  },
                  {
                    "type":"STRING",
                    "value":"testString"
                  }
                ]
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//錯誤記錄數。
        },
        "speed":{
            "throttle":true,//false代表不限流，下面的限流的速度不生效，true代表限流。
            "concurrent":1 //作業並發數。
            "mbps":"12"//限流
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

列模式讀取寬表配置

{
    "type":"job",
    "version":"2.0",//版本號碼。
    "steps":[
        {
            "stepType":"ots",//外掛程式名。
            "parameter":{
                "datasource":"",//資料來源。
                "table":"",//表名
                "newVersion":"true",//新版otsreader
                "mode": "multiversion",//多版本模式
                "column":[//配置需要匯出的列名稱（必須是非主鍵列）
                    {"name":"mobile"},
                    {"name":"name"},
                    {"name":"age"},
                    {"name":"salary"},
                    {"name":"marry"}
                ],
                "range":{//匯出的範圍
                    "begin":[
                        {"type":"INF_MIN"},
                        {"type":"INF_MAX"}
                    ],
                    "end":[
                        {"type":"INF_MAX"},
                        {"type":"INF_MIN"}
                    ],
                    "split":[
                    ]
                },

            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//錯誤記錄數。
        },
        "speed":{
            "throttle":true,//false代表不限流，下面的限流的速度不生效，true代表限流。
            "concurrent":1 //作業並發數。
            "mbps":"12"//限流
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Reader指令碼參數通用配置

參數	描述	是否必選	預設值
endpoint	Tablestore Server的EndPoint（服務地址），詳情請參見服務地址。	是	無
accessId	Tablestore的AccessKey ID。	是	無
accessKey	Tablestore的AccessKey Secret。	是	無
instanceName	Tablestore的執行個體名稱，執行個體是您使用和管理Tablestore服務的實體。您在開通Tablestore服務後，需要通過管理主控台來建立執行個體，然後在執行個體內進行表的建立和管理。執行個體是Tablestore資源管理的基礎單元，Tablestore對應用程式的存取控制和資源計量都在執行個體層級完成。	是	無
table	所選取的需要抽取的表名稱，這裡有且只能填寫一張表。在Tablestore不存在多表同步的需求。	是	無
newVersion	定義了使用的Tablestore Reader外掛程式的版本。 false：舊版本Tablestore Reader，僅支援行模式讀取寬表。 true：新版本Tablestore Reader，支援行模式、列模式、時序表、寬表。新版Tablestore Reader除了支援新的功能，對系統資源的開銷也相對較低，因此推薦使用新版Tablestore Reader。新版本外掛程式配置相容了舊版本外掛程式的配置，即舊任務增加newVersion=true配置之後，可以正常運行。	否	false
mode	定義了讀取資料的模式，當前支援兩種模式： normal：行模式讀取資料，資料格式為{主鍵列值，普通列值}。 multiVersion：列模式讀取資料，資料格式為{主鍵列，普通列名，時間戳記，普通列名對應列值}。本配置僅在新版Tablestore Reader（newVersion:true）配置下生效。舊版Tablestore Reader會忽略mode配置，並僅支援行模式讀取。	否	normal
isTimeseriesTable	定義了操作的資料表是否為時序資料表： false：資料表為普通的寬表。 true：資料表為時序資料表。本配置僅在newVersion:true & mode:normal配置下生效。舊版Tablestore Reader不支援時序表，且時序表無法按列模式讀取。	否	false

Reader指令碼參數附加配置

Tablestore Reader支援行模式讀取寬表、行模式讀取時序表、列模式讀取寬表。下面為您介紹各模式的附加配置。

行模式讀寬表參數

參數	描述	是否必選	預設值
column	所配置的表中需要同步的列名集合，使用JSON的數組描述欄位資訊。由於Tablestore本身是NoSQL系統，在Tablestore Reader抽取資料過程中，必須指定相應的欄位名稱。支援普通的列讀取，例如{"name":"col1"}。支援部分列讀取，如果您不配置該列，則Tablestore Reader不予讀取。支援常量列讀取，例如{"type":"STRING", "value":"DataX"}。使用type描述常量類型，目前支援String、Int、Double、Bool、Binary（使用Base64編碼填寫）、INF_MIN（Tablestore的系統限定最小值，如果使用該值，您不能填寫value屬性，否則報錯）、INF_MAX（Tablestore的系統限定最大值，如果使用該值，您不能填寫value屬性，否則報錯）。不支援函數或者自訂運算式，由於Tablestore本身不提供類似SQL的函數或者運算式功能，Tablestore Reader也不能提供函數或運算式列功能。	是	無
begin和end	begin和end配置項用於表示抽取Tablestore表資料的範圍。 begin和end描述的是Tablestore PrimaryKey的區間分布狀態，對於無限大小的區間，您可以使用`{"type":"INF_MIN"}`和`{"type":"INF_MAX"}`分別指代begin和end，其中type表示抽取資料的類型。說明 begin、end配置項預設值為`[INF_MIN，INF_MAX）`，即讀取全部資料。當配置的begin、end數量小於主鍵數量時，依據最左主鍵匹配原則，未配置的主鍵範圍預設為`[INF_MIN，INF_MAX）`。當只配置了begin、end中的一項時，匯出的資料範圍為`[begin, INF_MAX）`或 `[INF_MIN, end）`。當僅有一個主鍵列時，begin、end設定匯出資料遵循左閉右開規則。當有多個主鍵列時，最後一個主鍵列匯出遵循左閉右開規則，其他主鍵列為左右閉區間。例如，對一張主鍵為`[Hundreds, Tens,Ones]`的三主鍵Tablestore表進行資料幫浦，表中的資料的主鍵分別為：(0,0,0)(0,0,1)(0,0,2)(0,0,3)......(9,9,8)(9,9,9)，共1000列。begin和end的配置如下所示。樣本一：抽取Hundreds的範圍為`[3，5]`、Tens的範圍為`[4，6]`。抽取的資料主鍵包含`(3,4,0)(3,4,1)...(4,4,0),(4,0,1)...(5,6,8)(5,6,9)`。配置如下： `"range": { "begin": [ {"type":"INT", "value":"3"}, //指定抽取Hundreds的最小值。 {"type":"INT", "value":"4"} //指定抽取Tens的最小值。 ], "end": [ {"type":"INT", "value":"5"}, //指定抽取Hundreds的最大值。 {"type":"INT", "value":"6"} //指定抽取Tens的最大值。 ] }` 樣本二：抽取Hundreds的範圍為`[3，5]`、Tens的範圍為`[4，6]`、Ones範圍為`[5,7)`。抽取的資料主鍵包含`(3,4,5)(3,4,6)...(4,4,5),(4,4,6)...(5,6,5)(5,6,6)`。配置如下： `"range": { "begin": [ {"type":"INT", "value":"3"}, //指定抽取Hundreds的最小值。 {"type":"INT", "value":"4"}, //指定抽取Tens的最小值。 {"type":"INT", "value":"5"} //指定抽取Ones的最小值。 ], "end": [ {"type":"INT", "value":"5"}, //指定抽取Hundreds的最大值。 {"type":"INT", "value":"6"}, //指定抽取Tens的最大值。 {"type":"INT", "value":"7"} //指定抽取Ones的最大值。 ] }`	否	（INF_MIN，INF_MAX）
split	該配置項屬於進階配置項，是您自己定義切分配置資訊，普通情況下不建議使用。通過配置split參數可以自己定義分區的資料範圍，通常在Tablestore 資料存放區發生熱點，可以使用自訂的切分規則，以下任務配置為例： `{ "range": { "begin": [{"type": "INF_MIN"}], "end": [{"type": "INF_MAX"}], "split": [ {"type": "STRING","value": "1"}, {"type": "STRING","value": "2"}, {"type": "STRING","value": "3"}, {"type": "STRING","value": "4"}, {"type": "STRING","value": "5"} ] }` 任務運行時，資料會切分成6個段，並發讀取。分段數量建議比任務並發數大。 `// 第 1 段 [最小值, 1) // 第 2 段 [1, 2) // 第 3 段 [2, 3) // 第 4 段 [3, 4) // 第 5 段 [4, 5) // 第 6 段 [5, 最大值)`	否	當split參數未配置時，使用自動切分邏輯。自動切分邏輯會找出 Partition Key最大、最小值，並進行均勻分段。 Partition Key支援整型和字串，整型使用整除來分段，字串使用第一個字元的unicode碼來分段。

行模式讀時序表參數

參數	描述	是否必選	預設值
column	column是一個數組，每個元素表示一列，可配置常量列與普通列兩種類型。對於常量列，需要配置以下欄位： type：欄位實值型別，必需配置。目前支援string、int、double、bool、binary。 value : 欄位值，必需配置。對於普通列，需要配置以下欄位： name ：列名，必需配置。以下為預定義的欄位。時間軸的'度量名稱'使用`_m_name`標識，資料類型為String。時間軸的'資料來源'使用`_data_source`標識，資料類型為String。時間軸的'標籤'使用`_tags`標識，資料類型為String。時間軸的'時間戳記'使用`_time`標識，資料類型為Long。 is_timeseries_tag：該列是否為tags欄位內部的索引值，非必需配置，預設為false。 type：欄位實值型別，非必需配置，預設為string。目前支援 string、int、double、bool、binary。讀出四列資料的指令碼樣本： `"column": [ { "name": "_m_name" // 時間軸的度量名稱欄位 }, { "name": "tag_key", // 時間軸中標籤欄位內tag_key對應的value "is_timeseries_tag":"true" }, { "name": "string_column", // fields中名稱為string_column "type":"string" // 且資料類型為string的列 }, { "value": "constant_value", // 常量列，值固定為"constant_value" "type":"string" } ],`	是	無
measurementName	配置需要讀取時間軸的度量名稱。若不配置則讀取全表資料。	否	無
timeRange	請求資料的時間範圍，讀取的範圍是[begin,end)，左閉右開的區間，且begin必須小於end，時間戳記單位為毫秒。格式如下： `"timeRange":{ // begin：非必選，預設為0，取值範圍是0~LONG_MAX "begin":1400000000000, // end：非必選，預設為Long Max(9223372036854775807L)，取值範圍是0~LONG_MAX "end" :1600000000000 },`	否	全部版本

列模式讀寬表參數

參數	描述	是否必選	預設值
column	指定要匯出的列，在列模式下只支援普通列。格式： `"column": [ {"name1":"{your column name1}"}, {"name2":"{your column name2}"} ],` 說明在列模式下，不支援常量列。 PK列不能指定，匯出4元組中預設包括完整的PK。不能重複指定列。	是	所有列
range	讀取的資料範圍，讀取的範圍為[begin,end)，左閉右開的區間，並且： begin小於end，表示正序讀取資料。 begin大於end，表示反序讀取資料。 begin和end不能相等。 type支援的類型有如下幾類： string int binary：輸入的方式採用二進位的Base64字串形式傳入。 INF_MIN：表示無限小。 INF_MAX：表示無限大。格式： "range":{ // 可選，預設表示從無限小開始讀取 // 這個值的輸入可以填寫空數組，或者PK首碼，亦或者完整的PK，在正序讀取資料時，預設填充PK尾碼為INF_MIN，反序為INF_MAX // 例子： // 如果使用者的表有2個PK，類型分別為string、int，那麼如下3種輸入都是合法，如： //1. 從表的開始位置讀取 -> 讀取到表的結束為止: //"begin":[],"end":[], //2. 從第一列主索引值為"a",第二列主鍵的最小值開始讀取 -> 讀取到第一列主索引值為"b",第二列主鍵的最大值: //"begin":[{"type":"string", "value":"a"}],"end":[{"type":"string", "value":"b"}], //3. 從第一列主索引值為"a",第二列主鍵的最小值開始讀取 -> 讀取到表的結束位置: //"begin":[{"type":"string", "value":"a"},{"type":"INF_MIN"}],"end":[], // // binary類型的PK列比較特殊，因為Json不支援直接輸入位元，所以系統定義:使用者如果要傳入 // 二進位，必須使用(Java)Base64.encodeBase64String方法，將二進位轉換為一個可視化的字串，然後將這個字串填入value中 // 例子(Java)： // byte[] bytes = "hello".getBytes(); # 構造一個位元據，這裡使用字串hello的byte值 // String inputValue = Base64.encodeBase64String(bytes) # 調用Base64方法，將二進位轉換為可視化的字串 // 上面的代碼執行之後，可以獲得inputValue為"aGVsbG8=" // 最終寫入配置：{"type":"binary","value" : "aGVsbG8="} "begin":[{"type":"string", "value":"a"},{"type":"INF_MIN"}], // 預設表示讀取到無限大結束 // 這個值得輸入可以填寫空數組，或者PK首碼，亦或者完整的PK，在正序讀取資料時，預設填充PK尾碼為INF_MAX，反序為INF_MIN // 可選 "end":[{"type":"string", "value":"g"},{"type":"INF_MAX"}], // 目前使用者資料較多時，需要開啟並發匯出，Split可以將當前範圍的資料按照切分點切分為多個並發任務 // 可選 // 1. split中的輸入值只能PK的第一列（分區建），且值的類型必須和PartitionKey一致 // 2. 值的範圍必須在begin和end之間 // 3. split內部的值必鬚根據begin和end的正反序關係而遞增或者遞減 "split":[{"type":"string", "value":"b"}, {"type":"string", "value":"c"}] },	否	全部資料
timeRange	請求資料的時間範圍，讀取的範圍是[begin,end)，左閉右開的區間，且begin必須小於end，時間戳記單位為毫秒。格式： `"timeRange":{ // begin：非必選，預設為0，取值範圍是0~LONG_MAX "begin":1400000000000, // end：非必選，預設為Long Max(9223372036854775807L)，取值範圍是0~LONG_MAX "end" :1600000000000 },`	否	全部版本
maxVersion	請求的最巨量資料版本數，取值範圍是1~INT32_MAX。	否	全部版本

附錄二：Writer指令碼Demo與參數說明

離線任務指令碼配置方式

Writer指令碼Demo

行模式寫入寬表配置

{
    "type":"job",
    "version":"2.0",//版本號碼。
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"ots",//外掛程式名。
            "parameter":{
                "datasource":"",//資料來源。
                "table":"",//表名。
                "newVersion":"true",//使用新版otswriter
                "mode": "normal",// 行模式寫入資料
                "isTimeseriesTable":"false",// 配置該表為寬表（非時序表）
                "primaryKey" : [//Tablestore的主鍵資訊。
                    {"name":"gid", "type":"INT"},
                    {"name":"uid", "type":"STRING"}
                 ],
                "column" : [//欄位。
                      {"name":"col1", "type":"INT"},
                      {"name":"col2", "type":"DOUBLE"},
                      {"name":"col3", "type":"STRING"},
                      {"name":"col4", "type":"STRING"},
                      {"name":"col5", "type":"BOOL"}
                  ],
                "writeMode" : "PutRow"    //寫入模式。
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//錯誤記錄數。
        },
        "speed":{
            "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":1, //作業並發數。
            "mbps":"12"//限流，此處1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

行模式寫時序表配置

{
    "type":"job",
    "version":"2.0",//版本號碼。
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"ots",//外掛程式名。
            "parameter":{
                "datasource":"",//資料來源。
                "table": "testTimeseriesTableName01",
                "mode": "normal",
                "newVersion": "true",
                "isTimeseriesTable":"true",
                "timeunit":"microseconds",
                "column": [
                      {
                        "name": "_m_name"
                      },
                      {
                        "name": "_data_source",
                      },
                      {
                        "name": "_tags",
                      },
                      {
                        "name": "_time",
                      },
                      {
                        "name": "string_1",
                        "type":"string"
                      },
                      {
                        "name":"tag3",
                        "is_timeseries_tag":"true",
                      }
                    ]
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//錯誤記錄數。
        },
        "speed":{
            "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":1, //作業並發數。
            "mbps":"12"//限流，此處1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

列模式寫入寬表配置

{
    "type":"job",
    "version":"2.0",//版本號碼。
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"ots",//外掛程式名。
            "parameter":{
                "datasource":"",//資料來源。
                "table":"",
                "newVersion":"true",
                "mode":"multiVersion",
                "primaryKey" : [
                    "gid",
                    "uid"
                    ]
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//錯誤記錄數。
        },x`
        "speed":{
            "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":1, //作業並發數。
            "mbps":"12"//限流，此處1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Writer指令碼參數通用配置

參數	描述	是否必選	預設值
datasource	資料來源名稱，指令碼模式支援添加資料來源，該配置項填寫的內容必須與添加的資料來源名稱保持一致。	是	無
endPoint	Tablestore Server的EndPoint（服務地址），詳情請參見服務地址。	是	無
accessId	Tablestore的AccessKey ID。	是	無
accessKey	Tablestore的AccessKey Secret。	是	無
instanceName	Tablestore的執行個體名稱，執行個體是您使用和管理Tablestore服務的實體。您在開通Tablestore服務後，需要通過管理主控台來建立執行個體，然後在執行個體內進行表的建立和管理。執行個體是Tablestore資源管理的基礎單元，Tablestore對應用程式的存取控制和資源計量都在執行個體層級完成。	是	無
table	所選取的需要抽取的表名稱，此處能且只能填寫一張表。在Tablestore中不存在多表同步的需求。	是	無
newVersion	定義了使用的Tablestore Writer外掛程式版本。 false：舊版本Tablestore Writer，僅支援行模式寫入寬表。 true：新版本Tablestore Writer，支援行模式、列模式、時序表、寬表，且支援主鍵字增列功能。新版Tablestore Writer除了支援新的功能，對系統資源的開銷也相對較低，因此推薦使用新版Tablestore Writer。新版外掛程式相容舊版本外掛程式配置，即舊任務增加newVersion=true配置之後，可以正常運行。	是	false
mode	定義了寫入資料的模式，當前支援兩種模式 normal：寫入普通格式的資料（行模式）。 multiVersion：寫入多版本格式的資料（列模式）。本配置僅在newVersion:true配置下生效舊版Tablestore Writer會忽略mode配置，並僅支援行模式讀取。	否	normal
isTimeseriesTable	定義了操作的資料表是否為時序資料表。 false：資料表為普通的寬表。 true：資料表為時序資料表。本配置僅在newVersion:true & mode:normal配置下生效（列模式不相容時序表）。	否	false

Writer指令碼參數附加配置

Tablestore Writer支援行模式寫入寬表、行模式寫入時序表、列模式寫入寬表。下面介紹各模式的附加配置。

行模式寫寬表參數

參數	描述	是否必選	預設值
primaryKey	Tablestore的主鍵資訊，使用JSON的數組描述欄位資訊。Tablestore本身是NoSQL系統，在Tablestore Writer匯入資料過程中，必須指定相應的欄位名稱。資料同步系統本身支援類型轉換的，因此對於源頭資料非STRING/INT，Tablestore Writer會進行資料類型轉換。配置樣本如下。 `"primaryKey" : [ {"name":"gid", "type":"INT"}, {"name":"uid", "type":"STRING"} ],` 說明 Tablestore的PrimaryKey僅支援STRING和INT類型，因此Tablestore Writer本身也限定填寫STRING和INT兩種類型。	是	無
column	所配置的表中需要同步的列名集合，使用JSON的數組描述欄位資訊。配置樣本： `"column" : [ {"name":"col1", "type":"INT"}, {"name":"col2", "type":"DOUBLE"}, {"name":"col3", "type":"STRING"}, {"name":"col4", "type":"BINARY"}, {"name":"col5", "type":"BOOL"} ],` 其中的name為寫入的Tablestore列名稱，type為寫入的類型。Tablestore支援STRING、INT、DOUBLE、BOOL和BINARY類型。說明寫入過程不支援常量、函數或者自訂運算式。	是	無
writeMode	資料寫入Table Store的模式，目前支援以下兩種模式： PutRow：對應於Tablestore API PutRow，插入資料到指定的行。如果該行不存在，則新增一行。如果該行存在，則覆蓋原有行。 UpdateRow：對應於Tablestore API UpdateRow，更新指定行的資料。如果該行不存在，則新增一行。如果該行存在，則根據請求的內容在這一行中新增、修改或者刪除指定列的值。	是	無
enableAutoIncrement	是否允許向包含主鍵自增列的Tablestore表中寫入資料。 true：外掛程式會自動掃描目的端表的自增列資訊，並在寫入資料時添加自增列（不需要使用者配置自增列名稱）。 false：寫入含主鍵自增列的表時會報錯。	否	false
requestTotalSizeLimitation	該配置限制寫入Tablestore時單行資料的大小，配置類型為數字。	否	1MB
attributeColumnSizeLimitation	該配置限制寫入Tablestore時單個屬性列的大小，配置類型為數字。	否	2MB
primaryKeyColumnSizeLimitation	該配置限制寫入Tablestore時單個主鍵列的大小，配置類型為數字。	否	1KB
attributeColumnMaxCount	該配置限制寫入Tablestore時屬性列的個數，配置類型為數字。	否	1,024

行模式寫時序表參數

參數

描述

是否必選

預設值

column

column中的每個元素對應時序資料中的一個欄位，每個元素可配置以下參數。

name：列名，必需配置。以下為預定義的欄位：
- 時間軸的'度量名稱'使用_m_name標識，資料類型為String。
- 時間軸的'資料來源'使用_data_source標識，資料類型為String。
- 時間軸的'標籤'使用_tags標識，資料類型為String，字串格式為["tagKey1=value1","tagKey2=value2"]。
- 時間軸的'時間戳記'使用_time標識，資料類型為Long，預設單位為微秒。
is_timeseries_tag : 是否為tags欄位內部的索引值，非必需配置，預設為false。
type : 欄位實值型別，非必需配置，預設為string。支援string、int、double、bool、binary類型。

由於時序資料的度量名稱與時間戳記不可為空，因此必須配置_m_name與_time欄位。

樣本：一條待寫入資料如下，包含六個欄位：

mName1    source1    ["tag1=A","tag2=B"]    1677763080000000    field_value     C

使用如下配置：

"column": [
      {
        "name": "_m_name"
      },
      {
        "name": "_data_source",
      },
      {
        "name": "_tags",
      },
      {
        "name": "_time",
      },
      {
        "name": "string_1",
        "type":"string"
      },
      {
        "name":"tag3",
        "is_timeseries_tag":"true",
      }
    ],

寫入Tablestore後，控制台查看結果如下

是

無

timeunit

所配置的時間戳記_time欄位的單位，支援NANOSECONDS、MICROSECONDS、MILLISECONDS、SECONDS、MINUTES。

否

MICROSECONDS

列模式寫寬表參數

參數

描述

是否必選

預設值

primaryKey

表的主鍵列。

考慮到配置成本，並不需要配置primaryKey在Record（Line）中的位置，但Record的格式需要固定，要求primaryKey一定在行首，primaryKey之後是columnName。record的格式為：{pk0,pk1...}, {columnName}, {timestamp}, {value}。

例如，有以下9條資料：

1,pk1,row1,1677699863871,value_0_0
1,pk1,row2,1677699863871,value_0_1
1,pk1,row3,1677699863871,value_0_2
2,pk2,row1,1677699863871,value_1_0
2,pk2,row2,1677699863871,value_1_1
2,pk2,row3,1677699863871,value_1_2
3,pk3,row1,1677699863871,value_2_0
3,pk3,row2,1677699863871,value_2_1
3,pk3,row3,1677699863871,value_2_2

配置樣本如下：

"primaryKey" : [
    "gid",
    "uid"
    ],

寫入寬行結果：

gid     uid     row1        row2        row3
1        pk1        value_0_0    value_0_1    value_0_2
2        pk2        value_1_0    value_1_1    value_1_2
3        pk3        value_2_0    value_2_1    value_2_2

是

無

columnNamePrefixFilter

列名首碼過濾。

Hbase匯入的資料，cf和qulifier共同組成了columnName，但Tablestore不支援cf，所以需要將cf過濾掉。

配置樣本："columnNamePrefixFilter":"cf:"

說明

該參數選填，如果沒有填寫或者值為空白字串，表示不對列名進行過濾。
如果通過Data Integration添加的資料columnName列不是以首碼開始，則將該Record放入髒資料回收器中。

否

無

常見問題

問題一

Q：向包含主鍵自增列的目標表寫入資料，需要如何配置Tablestore Writer？

Tablestore Writer的配置中必須包含以下兩條：
```
"newVersion": "true",
"enableAutoIncrement": "true",
```
Tablestore Writer中不需要配置主鍵自增列的列名。
Tablestore Writer中配置的primaryKey條數+column條數需要等於上遊Tablestore Reader資料的列數。

問題二

Q：在時序模型的配置中，如何理解_tag和is_timeseries_tag兩個欄位？

樣本：某條資料共有三個標籤，標籤為：【手機=小米，記憶體=8G，鏡頭=萊卡】。

資料匯出樣本（Tablestore Reader）
- 如果想將上述標籤合并到一起作為一列匯出，則配置為：
```
"column": [
      {
        "name": "_tags",
      }
    ],
```
  DataWorks會將標籤匯出為一列資料，形式如下：
```
["phone=xiaomi","camera=LEICA","RAM=8G"]
```
- 如果希望匯出phone標籤和camera標籤，並且每個標籤單獨作為一列匯出，則配置為：
```
"column": [
      {
        "name": "phone",
        "is_timeseries_tag":"true",
      },
      {
        "name": "camera",
        "is_timeseries_tag":"true",
      }
    ],
```
  DataWorks會匯出兩列資料，形式如下：
```
xiaomi, LEICA
```
資料匯入樣本（Tablestore Writer）
現在上遊資料來源（Reader）有兩列資料：
- 一列資料為：["phone=xiaomi","camera=LEICA","RAM=8G"]。
- 另一列資料為：6499。
現希望將這兩列資料都添加到標籤裡面，預期的寫入後標籤欄位格式如下所示：則配置為：
```
"column": [
      {
        "name": "_tags",
      },
      {
        "name": "price",
        "is_timeseries_tag":"true",
      },
    ],
```
- 第一列配置將["phone=xiaomi","camera=LEICA","RAM=8G"]整體匯入標籤欄位。
- 第二列配置將price=6499單獨匯入標籤欄位。