Tablestore:Data Integration

[データ開発] ページに移動します。

1. DataWorks コンソールにログインします。

2. トップナビゲーションバーで、リソースグループとリージョンを選択します。

3. 左側のナビゲーションウィンドウで、[データ開発と O&M] > [データ開発] をクリックします。

4. [データ開発] ページで、ドロップダウンリストからターゲットワークスペースを選択し、[データ開発に移動] ボタンをクリックします。

DataStudio コンソールの [データ開発] ページで、[ビジネスフロー] ノードの下にあるターゲットビジネスフローをクリックします。

詳細については、「ビジネスフローを作成する」をご参照ください。

[データ統合] ノードを右クリックし、[新しいノード] > [オフライン同期] を選択します。

[新しいノード] ダイアログボックスで、パスを選択し、名前を入力して、[確認] をクリックします。

新しいオフライン同期ノードが [データ統合] ノードの下に表示されます。

[データ統合] ノードの下で、新しいオフライン同期タスクノードをダブルクリックします。

ネットワークとリソースを構成します。

同期タスクを実行するためのソース、デスティネーション、およびリソースグループを選択し、接続性をテストします。

1. [ネットワークとリソースの構成] ステップで、[データソース] を [MaxCompute(ODPS)] に設定します。 [データソース名] には、新しい MaxCompute データソースを選択します。

2. リソースグループを選択します。

   リソースグループを選択すると、リソースグループのリージョンや仕様などの情報が表示され、リソースグループと選択したデータソース間の接続性が自動的にテストされます。

   説明

   サーバーレスリソースグループは、同期タスクの CU 使用量の上限を指定することをサポートしています。同期タスクでリソース不足のために OOM エラーが発生した場合は、必要に応じてリソースグループの CU 使用量の値を調整してください。

3. [データの宛先] を [Tablestore] に設定し、[データソース名] には、新しい Tablestore データソースを選択します。

   リソースグループと選択したデータソース間の接続性が自動的にテストされます。

4. 接続テストが成功したら、[次へ] をクリックします。

タスクを構成して保存します。

1. [タスクの構成] ステップで、[データソースとデスティネーションの構成] 領域でデータソースとデスティネーションを構成できます。

   ソース

   パラメータ	説明
   データソース	前のステップで選択した MaxCompute データソースがデフォルトで表示されます。
   トンネルリソースグループ	これはトンネルクォータです。デフォルトでは、「パブリック転送リソース」が選択されています。これは MaxCompute の無料クォータです。 MaxCompute データ転送リソースの選択については、「データ統合用の専用リソースグループを購入して使用する」をご参照ください。 説明 支払い遅延または期限切れのために専用のトンネルクォータが使用できない場合、タスクは実行時に自動的に「パブリック転送リソース」に切り替わります。
   テーブル	ソーステーブル。
   フィルター方法	データ同期のフィルタリングロジック。以下の 2 つの方法がサポートされています。 [パーティションフィルター]: パーティションフィルター式を使用して、ソースデータの同期範囲をフィルターします。この方法を選択した場合は、[パーティション情報] パラメータと [パーティションが存在しない場合] パラメータも構成する必要があります。 [データフィルター]: SQL WHERE 句を使用してソースデータの同期範囲を指定します (WHERE キーワードは入力しないでください)。
   パーティション情報	説明 これは、[フィルター方法] が [パーティションフィルター] に設定されている場合に構成する必要があります。 パーティションキー列の値を指定します。 値は、ds=20220101 などの静的フィールドにすることができます。 値は、ds=${bizdate} などのスケジューリングシステムパラメータにすることができます。タスクの実行時に、スケジューリングシステムパラメータが自動的に置き換えられます。
   パーティションが存在しない場合	説明 これは、[フィルター方法] が [パーティションフィルター] に設定されている場合に構成する必要があります。 パーティションが存在しない場合の同期タスクの処理ポリシー。 [エラー]。 [存在しないパーティションを無視、タスクは正常に実行]。

   デスティネーション

   パラメータ	説明
   データソース	前のステップで選択した Tablestore データソースがデフォルトで表示されます。
   テーブル	デスティネーションデータテーブル。
   プライマリキー情報	デスティネーションデータテーブルのプライマリキー情報。
   書き込みモード	Tablestore にデータを書き込むためのモード。以下の 2 つのモードがサポートされています。 PutRow: Tablestore API PutRow に対応します。指定した行にデータを挿入します。行が存在しない場合は、新しい行が追加されます。行が存在する場合は、既存の行が上書きされます。 UpdateRow: Tablestore API UpdateRow に対応します。指定した行のデータを更新します。行が存在しない場合は、新しい行が追加されます。行が存在する場合は、リクエストの内容に基づいて、その行の指定された列の値を追加、変更、または削除します。

2. フィールドマッピングを構成します。

   データソースとデスティネーションを構成したら、[ソースフィールド] と [デスティネーションフィールド] の間のマッピングを指定する必要があります。タスクはこのマッピングを使用して、ソーステーブルフィールドからデスティネーションテーブルの対応するフィールドにデータを書き込みます。詳細については、「ステップ 4: フィールドマッピングを構成する」をご参照ください。

   重要

   • プライマリキーデータを読み取るには、[ソースフィールド] でプライマリキー情報を指定する必要があります。

   • デスティネーションテーブルの [プライマリキー情報] は前のステップで [データの宛先] で構成されているため、[デスティネーションフィールド] で再度構成することはできません。

   • フィールドのデータ型が INTEGER の場合は、INT として構成する必要があります。DataWorks はそれを自動的に INTEGER 型に変換します。型を INTEGER として構成すると、ログにエラーが報告され、タスクが失敗します。

3. チャネルコントロールを構成します。

   チャネルを構成して、データ同期プロセスに関連するプロパティを制御できます。パラメータの詳細については、「オフライン同期の同時実行性とレート制限の関係」をご参照ください。

4. アイコンをクリックして構成を保存します。

アイコンをクリックします。

[パラメータ] ダイアログボックスで、タスクを実行するリソースグループを選択します。

[実行] をクリックします。

[データ開発] ページに移動します。

1. DataWorks コンソールにログインします。

2. トップナビゲーションバーで、リソースグループとリージョンを選択します。

3. 左側のナビゲーションウィンドウで、[データ開発と O&M] > [データ開発] をクリックします。

4. [データ開発] ページで、ドロップダウンリストからターゲットワークスペースを選択し、[DataStudio に移動] をクリックします。

DataStudio コンソールの [データ開発] ページで、[プロジェクトディレクトリ] の右側にある アイコンをクリックし、[新規ノード] > [Data Integration] > [オフライン同期] を選択します。

[新しいノード] ダイアログボックスで、パスを選択し、名前を入力して、[確認] をクリックします。

新しいオフライン同期ノードが [プロジェクトフォルダ] に表示されます。

[プロジェクトディレクトリ] の下で、新しいオフライン同期タスクノードをクリックします。

ネットワークとリソースを構成します。

同期タスクを実行するためのソース、デスティネーション、およびリソースグループを選択し、接続性をテストします。

1. [ネットワークとリソースの構成] ステップで、[データソース] を [MaxCompute(ODPS)] に設定します。 [データソース名] には、新しい MaxCompute データソースを選択します。

2. リソースグループを選択します。

   リソースグループを選択すると、リソースグループのリージョンや仕様などの情報が表示され、リソースグループと選択したデータソース間の接続性が自動的にテストされます。

   説明

   サーバーレスリソースグループは、同期タスクの CU 使用量の上限を指定することをサポートしています。同期タスクでリソース不足のために OOM エラーが発生した場合は、必要に応じてリソースグループの CU 使用量の値を調整してください。

3. [データの宛先] を [Tablestore] に設定し、[データソース名] には、新しい Tablestore データソースを選択します。

   リソースグループと選択したデータソース間の接続性が自動的にテストされます。

4. 接続テストが成功したら、[次へ] をクリックします。

タスクを構成して保存します。

1. [タスクの構成] ステップで、[データソースとデスティネーションの構成] 領域でデータソースとデスティネーションを構成できます。

   ソース

   パラメータ	説明
   データソース	前のステップで選択した MaxCompute データソースがデフォルトで表示されます。
   トンネルリソースグループ	これはトンネルクォータです。デフォルトでは、「パブリック転送リソース」が選択されています。これは MaxCompute の無料クォータです。 MaxCompute データ転送リソースの選択については、「データ統合用の専用リソースグループを購入して使用する」をご参照ください。 説明 支払い遅延または期限切れのために専用のトンネルクォータが使用できない場合、タスクは実行時に自動的に「パブリック転送リソース」に切り替わります。
   テーブル	ソーステーブル。
   フィルター方法	データ同期のフィルタリングロジック。以下の 2 つの方法がサポートされています。 [パーティションフィルター]: パーティションフィルター式を使用して、ソースデータの同期範囲をフィルターします。この方法を選択した場合は、[パーティション情報] パラメータと [パーティションが存在しない場合] パラメータも構成する必要があります。 [データフィルター]: SQL WHERE 句を使用してソースデータの同期範囲を指定します (WHERE キーワードは入力しないでください)。
   パーティション情報	説明 これは、[フィルター方法] が [パーティションフィルター] に設定されている場合に構成する必要があります。 パーティションキー列の値を指定します。 値は、ds=20220101 などの静的フィールドにすることができます。 値は、ds=${bizdate} などのスケジューリングシステムパラメータにすることができます。タスクの実行時に、スケジューリングシステムパラメータが自動的に置き換えられます。
   パーティションが存在しない場合	説明 これは、[フィルター方法] が [パーティションフィルター] に設定されている場合に構成する必要があります。 パーティションが存在しない場合の同期タスクの処理ポリシー。 [エラー]。 [存在しないパーティションを無視、タスクは正常に実行]。

   デスティネーション

   パラメータ	説明
   データソース	前のステップで選択した Tablestore データソースがデフォルトで表示されます。
   テーブル	デスティネーションデータテーブル。
   プライマリキー情報	デスティネーションデータテーブルのプライマリキー情報。
   書き込みモード	Tablestore にデータを書き込むためのモード。以下の 2 つのモードがサポートされています。 PutRow: Tablestore API PutRow に対応します。指定した行にデータを挿入します。行が存在しない場合は、新しい行が追加されます。行が存在する場合は、既存の行が上書きされます。 UpdateRow: Tablestore API UpdateRow に対応します。指定した行のデータを更新します。行が存在しない場合は、新しい行が追加されます。行が存在する場合は、リクエストの内容に基づいて、その行の指定された列の値を追加、変更、または削除します。

2. フィールドマッピングを構成します。

   データソースと宛先を設定した後、[ソースフィールド] と [宛先フィールド] の間のマッピングを指定する必要があります。タスクはこのマッピングを使用して、ソーステーブルのフィールドから宛先テーブルの対応するフィールドにデータを書き込みます。詳細については、「ステップ 4: フィールドマッピングを設定する」をご参照ください。

   重要

   • プライマリキーデータを読み取るには、[ソースフィールド] でプライマリキー情報を指定する必要があります。

   • デスティネーションテーブルの [プライマリキー情報] は前のステップで [データの宛先] で構成されているため、[デスティネーションフィールド] で再度構成することはできません。

   • フィールドのデータ型が INTEGER の場合は、INT として構成する必要があります。DataWorks はそれを自動的に INTEGER 型に変換します。型を INTEGER として構成すると、ログにエラーが報告され、タスクが失敗します。

3. チャネルコントロールを構成します。

   チャネルを構成して、データ同期プロセスに関連するプロパティを制御できます。パラメータの詳細については、「オフライン同期の同時実行性とレート制限の関係」をご参照ください。

4. [保存] をクリックします。

タスクの右側にある [デバッグ構成] をクリックし、タスクを実行するリソースグループを選択します。

[実行] ボタンをクリックします。