Tablestore:Tablestore から OSS へのフルデータのエクスポート

(推奨) コードレス UI を使用する

1. タスクを設定する ステップの ソースと宛先を設定する セクションで、実際のケースに基づいてソースデータソースと宛先データソースを設定します。

   ソースデータソースを設定する

   パラメーター	説明
   テーブル	Tablestore データテーブルの名前。
   プライマリキーの範囲 (開始)	読み取るデータの範囲を指定するために使用される開始プライマリキーと終了プライマリキー。値は JSON 配列である必要があります。 開始プライマリキーと終了プライマリキーは、有効なプライマリキー、または INF_MIN タイプと INF_MAX タイプの値で構成される仮想ポイントである必要があります。仮想ポイントの列数は、プライマリキー列の数と同じである必要があります。 INF_MIN タイプは、無限に小さい値を指定します。他のすべてのタイプの値は、INF_MIN タイプの値よりも大きくなります。INF_MAX タイプは、無限に大きい値を指定します。他のすべてのタイプの値は、INF_MAX タイプの値よりも小さくなります。 データテーブルの行は、プライマリキーによって昇順にソートされます。読み取るデータの範囲は、左閉右開区間です。プライマリキーが開始プライマリキー以上で終了プライマリキー未満のすべての行が返されます。 たとえば、テーブルに pk1 と pk2 というプライマリキー列が含まれているとします。pk1 列は String タイプで、pk2 列は Integer タイプです。 テーブルからフルデータをエクスポートするには、次のパラメーターを指定します。 プライマリキーの範囲 (開始) パラメーターのサンプル [ { "type": "INF_MIN" }, { "type": "INF_MIN" } ] プライマリキーの範囲 (終了) パラメーターのサンプル [ { "type": "INF_MAX" }, { "type": "INF_MAX" } ] pk1 列の値が tablestore である行をエクスポートするには、次のパラメーターを指定します。 プライマリキーの範囲 (開始) パラメーターのサンプル [ { "type": "STRING", "value": "tablestore" }, { "type": "INF_MIN" } ] プライマリキーの範囲 (終了) パラメーターのサンプル [ { "type": "STRING", "value": "tablestore" }, { "type": "INF_MAX" } ]
   プライマリキーの範囲 (終了)
   分割設定情報	データを分割するために使用されるカスタムルール。一般的なシナリオでは、このパラメーターを設定しないことをお勧めします。Tablestore テーブル内でデータが不均一に分散されており、Tablestore Reader の自動分割機能が失敗する場合は、カスタムルールを指定してデータを分割できます。開始プライマリキーと終了プライマリキーの間の範囲内で分割キーを設定できます。すべてのプライマリキーを指定する必要はありません。値は JSON 配列です。

   宛先データソースを設定する

   パラメーター	説明
   テキストタイプ	OSS に書き込まれるオブジェクトの形式 (.csv や .txt など)。 説明 オブジェクトの形式によって、必要な設定が異なります。オブジェクトの形式を選択し、表示される特定のパラメーターを指定します。
   ファイル名 (パスを含む)	このパラメーターは、テキストタイプ パラメーターを text、csv、または orc に設定した場合にのみ表示されます。 OSS 内のオブジェクトの名前。名前には、tablestore/20231130/myotsdata.csv などのパスを含めることができます。
   パス	このパラメーターは、テキストタイプ パラメーターを parquet に設定した場合にのみ表示されます。 OSS 内のオブジェクトのパス (例: tablestore/20231130/)。
   ファイル名	このパラメーターは、テキストタイプ パラメーターを parquet に設定した場合にのみ表示されます。 OSS 内のオブジェクトの名前。
   列区切り文字	このパラメーターは、テキストタイプ パラメーターを text または csv に設定した場合にのみ表示されます。 データが OSS オブジェクトに書き込まれるときに列を区切るために使用される区切り文字。
   行区切り文字	このパラメーターは、テキストタイプ パラメーターを text に設定した場合にのみ表示されます。 行を区切るために使用されるカスタム区切り文字。例: \u0001。データに存在しない区切り文字を行区切り文字として使用する必要があります。 Linux のデフォルトの行区切り文字 \n または Windows のデフォルトの行区切り文字 \r\n を使用する場合、このパラメーターを空のままにすることをお勧めします。システムは、デフォルトの行区切り文字に基づいてデータを自動的に読み取ります。
   コーディング	このパラメーターは、テキストタイプ パラメーターを text または csv に設定した場合にのみ表示されます。 データを書き込む OSS オブジェクトのエンコード形式。
   null 値	このパラメーターは、テキストタイプ パラメーターを text、csv、または orc に設定した場合にのみ表示されます。 ソースデータソースで null として解釈できる文字列。たとえば、このパラメーターを null に設定し、ソースデータソースのフィールドの値が null の場合、システムはそのフィールドを null として認識します。
   時間形式	このパラメーターは、テキストタイプ パラメーターを text または csv に設定した場合にのみ表示されます。 日付データが OSS オブジェクトに書き込まれる時間形式 (例: yyyy-MM-dd)。
   プレフィックスの競合	指定したオブジェクト名が OSS 内の既存のオブジェクトの名前と同じである場合に使用される処理方法。有効な値: 置換: 既存のオブジェクトを削除し、同じ名前の別のオブジェクトを作成します。 保持: 既存のオブジェクトを保持し、既存のオブジェクト名とランダムなサフィックスを組み合わせた名前の別のオブジェクトを作成します。 エラー: エラーを報告し、バッチ同期タスクを停止します。
   ファイルを分割	このパラメーターは、テキストタイプ パラメーターを text または csv に設定した場合にのみ表示されます。 データを書き込む単一の OSS オブジェクトの最大サイズ。単位: MB。最大サイズは 100 GB です。書き込まれるオブジェクトのサイズがこのパラメーターの値に達すると、システムは新しいオブジェクトを生成してデータの書き込みを続行し、すべてのデータが書き込まれるまでこれを繰り返します。
   単一ファイルとして書き込む	このパラメーターは、テキストタイプ パラメーターを text または csv に設定した場合にのみ表示されます。 一度に 1 つのオブジェクトを OSS に書き込むかどうかを指定します。デフォルトでは、一度に複数のオブジェクトが OSS に書き込まれます。データの書き込み中にデータが読み取られない場合、次のケースが発生する可能性があります。オブジェクトヘッダーが設定されている場合は、オブジェクトヘッダーのみを含む空のオブジェクトが生成されます。オブジェクトヘッダーが設定されていない場合は、完全に空のオブジェクトが生成されます。 一度に 1 つのオブジェクトを OSS に書き込む場合は、単一ファイルとして書き込む を選択します。この場合、データの書き込み中にデータが読み取られないと、空のファイルは生成されません。
   最初の行をテーブルヘッダーにする	このパラメーターは、テキストタイプ パラメーターを text または csv に設定した場合にのみ表示されます。 オブジェクトにデータが書き込まれるときに最初の行をテーブルヘッダーとして書き込むかどうかを指定します。デフォルトでは、テーブルヘッダーは生成されません。最初の行をテーブルヘッダーとして書き込む場合は、最初の行をテーブルヘッダーにする を選択します。

2. フィールドマッピング セクションで、 アイコンをクリックし、OSS に同期するソースフィールドを手動で編集します。宛先フィールドを指定する必要はありません。

3. チャネル制御 セクションで、タスクの予想最大同時実行数、同期レート、ダーティデータレコードのポリシー、分散実行パラメーターなど、タスク実行のパラメーターを設定します。パラメーターの詳細については、チャネル制御ポリシーを設定する を参照してください。

4. アイコンをクリックして設定を保存します。

   説明

   設定を保存しないと、後続の操作を実行したときに設定を保存するように求めるメッセージが表示されます。OK をクリックして設定を保存します。

コードエディターを使用する

フルデータを同期するには、Tablestore Reader と OSS Writer を使用する必要があります。コードエディターを使用してタスクを設定する方法の詳細については、Tablestore データソース および OSS データソース を参照してください。

1. タスクを設定する ステップで、 アイコンをクリックします。表示されるメッセージで、OK をクリックします。

2. コードエディターで、次のサンプルコードに基づいてパラメーターを指定します。

   重要

   • ほとんどの場合、フルデータをエクスポートするタスクは 1 回だけ実行されます。そのため、タスクのスケジューリングパラメーターを設定する必要はありません。スケジューリングパラメーターの設定方法については、増分データを OSS に同期する を参照してください。

   • スクリプト設定に ${date} などの変数が含まれている場合は、データを同期するタスクを実行するときに各変数に特定の値を設定します。

   • サンプルコードには、設定を理解しやすいようにコメントが記載されています。サンプルコードを使用する際は、すべてのコメントを削除してください。

   {
       "type": "job", // このパラメーターの値は変更できません。
       "version": "2.0", // バージョン番号。このパラメーターの値は変更できません。
       "steps": [
           {
               "stepType":"ots",// リーダーの名前。このパラメーターの値は変更できません。
               "parameter":{
                   "datasource":"otssource",// Tablestore データソースの名前。ビジネス要件に基づいてこのパラメーターを指定します。
                   "newVersion":"true",// 最新バージョンの Tablestore Reader を使用します。
                   "mode": "normal",// 行モードでデータを読み取ります。
                   "isTimeseriesTable":"false",// テーブルを時系列テーブルではなくワイドテーブルとして設定します。
                   "column":[// 必須。OSS にエクスポートする列の名前。
                       {
                           "name":"column1"// Tablestore データソースから OSS にエクスポートする列の名前。
                       },
                       {
                           "name":"column2"
                       },
                       {
                           "name":"column3"
                       },
                       {
                           "name":"column4"
                       },
                       {
                           "name":"column5"
                       }
                   ],
                   "range":{
                       "split":[ // Tablestore 内のデータテーブルのパーティション設定。このパラメーターを指定してエクスポートを高速化できます。ほとんどの場合、このパラメーターを指定する必要はありません。
                       ],
                       "end":[// Tablestore 内の終了プライマリキー列に関する情報。フルデータをエクスポートするには、このパラメーターを INF_MAX に設定します。データの一部のみをエクスポートするには、ビジネス要件に基づいてこのパラメーターを指定します。データテーブルに複数のプライマリキー列が含まれている場合は、end パラメーターのプライマリキー列に関する情報を設定します。
                           {
                               "type":"STRING",
                               "value":"endValue"
                           },
                           {
                               "type":"INT",
                               "value":"100"
                           },
                           {
                               "type":"INF_MAX"
                           },
                           {
                               "type":"INF_MAX"
                           }
                       ],
                       "begin":[// Tablestore 内の開始プライマリキー列に関する情報。フルデータをエクスポートするには、このパラメーターを INF_MIN に設定します。データの一部のみをエクスポートするには、ビジネス要件に基づいてこのパラメーターを指定します。データテーブルに複数のプライマリキー列が含まれている場合は、begin パラメーターのプライマリキー列に関する情報を設定します。
                           {
                               "type":"STRING",
                               "value":"beginValue"
                           },
                           {
                               "type":"INT",
                               "value":"0"
                           },
                           {
                               "type":"INF_MIN"
                           },
                           {
                               "type":"INF_MIN"
                           }
                       ]
                   },
                   "table":"datatable"// Tablestore 内のデータテーブルの名前。
               },
               "name":"Reader",
               "category":"reader"
           },
           {
               "stepType": "oss",// ライターの名前。このパラメーターの値は変更できません。
               "parameter": {
                   "nullFormat": "null", // null フィールド値を識別するために使用される文字列。値は空の文字列にすることができます。
                   "dateFormat": "yyyy-MM-dd HH:mm:ss",// 時間の形式。
                   "datasource": "osssource", // OSS データソースの名前。ビジネス要件に基づいてこのパラメーターを指定します。
                   "envType": 1,
                   "writeSingleObject": true, // 一度に 1 つのオブジェクトを OSS に書き込みます。
                   "writeMode": "truncate", // 指定したオブジェクト名を持つオブジェクトが OSS データソースに存在する場合にシステムによって実行される操作。有効な値: truncate、append、nonConflict。フルデータをエクスポートするには、このパラメーターを truncate に設定します。truncate 値は、システムが OSS データソース内のオブジェクトをクリアすることを指定します。append 値は、システムがデータを OSS データソース内のオブジェクトに追加することを指定します。nonConflict 値は、エラーが報告されることを指定します。
                   "encoding": "UTF-8", // エンコード形式。
                   "fieldDelimiter": ",", // 列を区切るために使用される区切り文字。
                   "fileFormat": "csv", // エクスポートされるファイル形式。有効な値: csv、text、parquet、orc。
                   "object": "tablestore/20231130/myotsdata.csv" // OSS データソース内のオブジェクト名のプレフィックス。プレフィックスにバケット名を含める必要はありません。例: tablestore/20231130/。スケジュールされたエクスポートを実行するには、tablestore/${date} などのプレフィックスに変数を使用する必要があります。次に、スケジューリングパラメーターを設定するときに ${date} 変数を指定します。
               },
               "name": "Writer",
               "category": "writer"
           },
           {
               "name": "Processor",
               "stepType": null,
               "category": "processor",
               "copies": 1,
               "parameter": {
                   "nodes": [],
                   "edges": [],
                   "groups": [],
                   "version": "2.0"
               }
           }
       ],
       "setting": {
           "executeMode": null,
           "errorLimit": {
               "record": "0" // エラー数がこのパラメーターの値を超えると、データは OSS にインポートされません。
           },
           "speed": {
               "concurrent": 2, // 同時実行数。
               "throttle": false
           }
       },
       "order": {
           "hops": [
               {
                   "from": "Reader",
                   "to": "Writer"
               }
           ]
       }
   }

3. アイコンをクリックして設定を保存します。

   説明

   スクリプトを保存しないと、後続の操作を実行したときにスクリプトを保存するように求めるメッセージが表示されます。OK をクリックしてスクリプトを保存します。