DataWorks:Tablestore データソース

ワイドテーブルの行モード読み取り設定

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"ots",// プラグイン名。
            "parameter":{
                "datasource":"",// データソース。
                "newVersion":"true",// otsreader の新しいバージョンを使用します。
                "mode": "normal",// 行モードでデータを読み取ります。
                "isTimeseriesTable":"false",// テーブルをワイドテーブル (時系列テーブルではない) として設定します。
                "column":[// フィールド。
                    {
                        "name":"column1"// フィールド名。
                    },
                    {
                        "name":"column2"
                    },
                    {
                        "name":"column3"
                    },
                    {
                        "name":"column4"
                    },
                    {
                        "name":"column5"
                    }
                ],
                "range":{
                    "split":[
                        {
                            "type":"STRING",
                            "value":"beginValue"
                        },
                        {
                            "type":"STRING",
                            "value":"splitPoint1"
                        },
                        {
                            "type":"STRING",
                            "value":"splitPoint2"
                        },
                        {
                            "type":"STRING",
                            "value":"splitPoint3"
                        },
                        {
                            "type":"STRING",
                            "value":"endValue"
                        }
                    ],
                    "end":[
                        {
                            "type":"STRING",
                            "value":"endValue"
                        },
                        {
                            "type":"INT",
                            "value":"100"
                        },
                        {
                            "type":"INF_MAX"
                        },
                        {
                            "type":"INF_MAX"
                        }
                    ],
                    "begin":[
                        {
                            "type":"STRING",
                            "value":"beginValue"
                        },
                        {
                            "type":"INT",
                            "value":"0"
                        },
                        {
                            "type":"INF_MIN"
                        },
                        {
                            "type":"INF_MIN"
                        }
                    ]
                },
                "table":""// テーブル名。
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// エラーレコードの数。
        },
        "speed":{
            "throttle":true,// false は速度制限なしを示します。以下の速度制限は有効になりません。true は速度制限を示します。
            "concurrent":1, // ジョブの同時実行数。
            "mbps":"12"// 速度制限。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

時系列テーブルの行モード読み取り設定

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"ots",// プラグイン名。
            "parameter":{
                "datasource":"",// データソース。
                "table": "",// テーブル名。
                // 時系列データを読み取るには、mode を normal に設定する必要があります。
                "mode": "normal",
                // 時系列データを読み取るには、newVersion を true に設定する必要があります。
                "newVersion": "true",
                // テーブルを時系列テーブルとして設定します。
                "isTimeseriesTable":"true",
                // measurementName: 時系列データを読み取るメジャーの名前。このパラメーターはオプションです。空のままにすると、テーブル全体からデータが読み取られます。
                "measurementName":"measurement_1",
                "column": [
                  {
                    "name": "_m_name"
                  },
                  {
                    "name": "tagA",
                    "is_timeseries_tag":"true"
                  },
                  {
                    "name": "double_0",
                    "type":"DOUBLE"
                  },
                  {
                    "name": "string_0",
                    "type":"STRING"
                  },
                  {
                    "name": "long_0",
                    "type":"INT"
                  },
                  {
                    "name": "binary_0",
                    "type":"BINARY"
                  },
                  {
                    "name": "bool_0",
                    "type":"BOOL"
                  },
                  {
                    "type":"STRING",
                    "value":"testString"
                  }
                ]
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// エラーレコードの数。
        },
        "speed":{
            "throttle":true,// false は速度制限なしを示します。以下の速度制限は有効になりません。true は速度制限を示します。
            "concurrent":1, // ジョブの同時実行数。
            "mbps":"12"// 速度制限。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

ワイドテーブルの列モード読み取り設定

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"ots",// プラグイン名。
            "parameter":{
                "datasource":"",// データソース。
                "table":"",// テーブル名。
                "newVersion":"true",// otsreader の新しいバージョン。
                "mode": "multiversion",// 多バージョンモード。
                "column":[// エクスポートする列の名前。属性列である必要があります。
                    {"name":"mobile"},
                    {"name":"name"},
                    {"name":"age"},
                    {"name":"salary"},
                    {"name":"marry"}
                ],
                "range":{// エクスポートする範囲。
                    "begin":[
                        {"type":"INF_MIN"},
                        {"type":"INF_MAX"}
                    ],
                    "end":[
                        {"type":"INF_MAX"},
                        {"type":"INF_MIN"}
                    ],
                    "split":[
                    ]
                },

            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// エラーレコードの数。
        },
        "speed":{
            "throttle":true,// false は速度制限なしを示します。以下の速度制限は有効になりません。true は速度制限を示します。
            "concurrent":1, // ジョブの同時実行数。
            "mbps":"12"// 速度制限。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

ワイドテーブルの行モード読み取りパラメーター

{
  "range": {
    "begin": [{"type": "INF_MIN"}],
    "end":   [{"type": "INF_MAX"}],
    "split": [
      {"type": "STRING","value": "1"},
      {"type": "STRING","value": "2"},
      {"type": "STRING","value": "3"},
      {"type": "STRING","value": "4"},
      {"type": "STRING","value": "5"}
    ]
  }

// セグメント 1
[最小値, 1)
// セグメント 2
[1, 2)
// セグメント 3
[2, 3)
// セグメント 4
[3, 4)
// セグメント 5
[4, 5)
// セグメント 6
[5, 最大値)

時系列テーブルの行モード読み取りパラメーター

"column": [
  {
    "name": "_m_name"               // タイムラインのメジャー名フィールド。
  },
  {
    "name": "tag_key",                // タイムラインの tags フィールドの tag_key に対応する値。
    "is_timeseries_tag":"true"
  },
  {
    "name": "string_column",        // fields 内の string_column という名前の列。
    "type":"string"                    // データ型は string です。
  },
  {
    "value": "constant_value",        // 定数列。値は "constant_value" に固定されます。
    "type":"string"
  }
],

"timeRange":{
    // begin: オプション。デフォルト値: 0。値の範囲: 0 から LONG_MAX。
    "begin":1400000000000,
    // end: オプション。デフォルト値: Long Max (9223372036854775807L)。値の範囲: 0 から LONG_MAX。
    "end"  :1600000000000
},

ワイドテーブルの列モード読み取りパラメーター

"column": [
    {"name1":"{your column name1}"},
    {"name2":"{your column name2}"}
],

"range":{
    // オプション。デフォルトでは、負の無限大から読み取りを開始します。
    // 値は空の配列、プライマリキープレフィックス、または完全なプライマリキーにすることができます。昇順で読み取る場合、プライマリキーのサフィックスはデフォルトで INF_MIN になります。降順で読み取る場合、デフォルトで INF_MAX になります。
    // 例:
    // テーブルに string 型と int 型の 2 つのプライマリキー列がある場合、次の 3 つの入力が有効です:
    // 1. テーブルの先頭からテーブルの末尾まで読み取る:
    // "begin":[],"end":[],
    // 2. 最初のプライマリキー値が "a" である 2 番目のプライマリキーの最小値から読み取りを開始します。最初のプライマリキー値が "b" である 2 番目のプライマリキーの最大値で読み取りを停止します:
    // "begin":[{"type":"string", "value":"a"}],"end":[{"type":"string", "value":"b"}],
    // 3. 最初のプライマリキー値が "a" である 2 番目のプライマリキーの最小値から読み取りを開始します。テーブルの末尾で読み取りを停止します:
    // "begin":[{"type":"string", "value":"a"},{"type":"INF_MIN"}],"end":[],    
    //
    // プライマリキー列のバイナリ型は特別です。JSON はバイナリ入力を直接サポートしていないため、システムでは
    // (Java) Base64.encodeBase64String メソッドを使用してバイナリデータを可視文字列に変換し、この文字列を値に入力する必要があります。
    // 例 (Java):
    //   byte[] bytes = "hello".getBytes();  // バイナリデータを構築します。ここでは文字列 "hello" のバイト値を使用します。
    //   String inputValue = Base64.encodeBase64String(bytes) // Base64 メソッドを呼び出してバイナリデータを可視文字列に変換します。
    //   上記のコードが実行された後、inputValue は "aGVsbG8=" になります。
    //   最終的な設定は次のとおりです: {"type":"binary","value" : "aGVsbG8="}

    "begin":[{"type":"string", "value":"a"},{"type":"INF_MIN"}],

    // デフォルトでは、正の無限大で読み取りを停止します。
    // 値は空の配列、プライマリキープレフィックス、または完全なプライマリキーにすることができます。昇順で読み取る場合、プライマリキーのサフィックスはデフォルトで INF_MAX になります。降順で読み取る場合、デフォルトで INF_MIN になります。
    // オプション。
    "end":[{"type":"string", "value":"g"},{"type":"INF_MAX"}],

    // 大量のデータがある場合は、同時エクスポートを有効にする必要があります。Split は、現在の範囲のデータを分割点に基づいて複数の同時タスクに分割できます。
    // オプション。
    //   1. split の入力値はプライマリキー (パーティションキー) の最初の列のみにすることができ、その型はパーティションキーと同じでなければなりません。
    //   2. 値は begin と end の間でなければなりません。
    //   3. split 内の値は、begin と end の順序に対応して、昇順または降順でなければなりません。
    "split":[{"type":"string", "value":"b"}, {"type":"string", "value":"c"}]
},

"timeRange":{
    // begin: オプション。デフォルト値: 0。値の範囲: 0 から LONG_MAX。
    "begin":1400000000000,
    // end: オプション。デフォルト値: Long Max (9223372036854775807L)。値の範囲: 0 から LONG_MAX。
    "end"  :1600000000000
},

ワイドテーブルの行モード書き込み設定

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"ots",// プラグイン名。
            "parameter":{
                "datasource":"",// データソース。
                "table":"",// テーブル名。
                "newVersion":"true",// otswriter の新しいバージョンを使用します。
                "mode": "normal",// 行モードでデータを書き込みます。
                "isTimeseriesTable":"false",// テーブルをワイドテーブル (時系列テーブルではない) として設定します。
                "primaryKey" : [// Tablestore のプライマリキー情報。
                    {"name":"gid", "type":"INT"},
                    {"name":"uid", "type":"STRING"}
                 ],
                "column" : [// フィールド。
                      {"name":"col1", "type":"INT"},
                      {"name":"col2", "type":"DOUBLE"},
                      {"name":"col3", "type":"STRING"},
                      {"name":"col4", "type":"STRING"},
                      {"name":"col5", "type":"BOOL"}
                  ],
                "writeMode" : "PutRow"    // 書き込みモード。
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// エラーレコードの数。
        },
        "speed":{
            "throttle":true,// throttle が false の場合、mbps パラメーターは効果がなく、速度制限がないことを示します。throttle が true の場合、速度制限があることを示します。
            "concurrent":1, // ジョブの同時実行数。
            "mbps":"12"// 速度制限。1 mbps = 1 MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

時系列テーブルの行モード書き込み設定

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"ots",// プラグイン名。
            "parameter":{
                "datasource":"",// データソース。
                "table": "testTimeseriesTableName01",
                "mode": "normal",
                "newVersion": "true",
                "isTimeseriesTable":"true",
                "timeunit":"microseconds",
                "column": [
                      {
                        "name": "_m_name"
                      },
                      {
                        "name": "_data_source",
                      },
                      {
                        "name": "_tags",
                      },
                      {
                        "name": "_time",
                      },
                      {
                        "name": "string_1",
                        "type":"string"
                      },
                      {
                        "name":"tag3",
                        "is_timeseries_tag":"true",
                      }
                    ]
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// エラーレコードの数。
        },
        "speed":{
            "throttle":true,// throttle が false の場合、mbps パラメーターは効果がなく、速度制限がないことを示します。throttle が true の場合、速度制限があることを示します。
            "concurrent":1, // ジョブの同時実行数。
            "mbps":"12"// 速度制限。1 mbps = 1 MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

ワイドテーブルの列モード書き込み設定

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"ots",// プラグイン名。
            "parameter":{
                "datasource":"",// データソース。
                "table":"",
                "newVersion":"true",
                "mode":"multiVersion",
                "primaryKey" : [
                    "gid",
                    "uid"
                    ]
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// エラーレコードの数。
        },
        "speed":{
            "throttle":true,// throttle が false の場合、mbps パラメーターは効果がなく、速度制限がないことを示します。throttle が true の場合、速度制限があることを示します。
            "concurrent":1, // ジョブの同時実行数。
            "mbps":"12"// 速度制限。1 mbps = 1 MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

ワイドテーブルの行モード書き込みパラメーター

"primaryKey" : [
    {"name":"gid", "type":"INT"},
    {"name":"uid", "type":"STRING"}
                 ],

"column" : [
     {"name":"col1", "type":"INT"},
     {"name":"col2", "type":"DOUBLE"},
     {"name":"col3", "type":"STRING"},
     {"name":"col4", "type":"BINARY"},
     {"name":"col5", "type":"BOOL"}
              ],

時系列テーブルの行モード書き込みパラメーター

mName1    source1    ["tag1=A","tag2=B"]    1677763080000000    field_value     C

"column": [
      {
        "name": "_m_name"
      },
      {
        "name": "_data_source",
      },
      {
        "name": "_tags",
      },
      {
        "name": "_time",
      },
      {
        "name": "string_1",
        "type":"string"
      },
      {
        "name":"tag3",
        "is_timeseries_tag":"true",
      }
    ],

ワイドテーブルの列モード書き込みパラメーター

1,pk1,row1,1677699863871,value_0_0
1,pk1,row2,1677699863871,value_0_1
1,pk1,row3,1677699863871,value_0_2
2,pk2,row1,1677699863871,value_1_0
2,pk2,row2,1677699863871,value_1_1
2,pk2,row3,1677699863871,value_1_2
3,pk3,row1,1677699863871,value_2_0
3,pk3,row2,1677699863871,value_2_1
3,pk3,row3,1677699863871,value_2_2

"primaryKey" : [
    "gid",
    "uid"
    ],

gid     uid     row1        row2        row3
1        pk1        value_0_0    value_0_1    value_0_2
2        pk2        value_1_0    value_1_1    value_1_2
3        pk3        value_2_0    value_2_1    value_2_2