DataWorks には、大量のデータを無料でクラウドに移行するためのリソースグループがデフォルトで用意されています。 ただし、高い伝送速度が必要な場合、またはデータストアが複雑な環境にデプロイされている場合、デフォルトのリソースグループでは不十分です。 このような場合、カスタムリソースグループを使用して同期ノードを実行できます。 データストアへの接続が保証され、より高い伝送速度がサポートされます。
ワークスペースの管理者は、Data Integration の
ページでカスタムリソースグループを追加または変更できます。デフォルトのリソースグループが、複雑なネットワーク環境にデプロイされたデータストアにアクセスできない場合、カスタムリソースグループを追加して任意のネットワーク環境間のデータ同期を有効にすることができます。
注
- Data Integration の [カスタムリソースグループ] ページで追加されたカスタムリソースグループは、現在のワークスペースの同期ノードでのみ実行できます。 リソースグループリストには表示されません。 現在、[カスタムリソースグループ] ページで追加されたカスタムリソースグループは、手動でトリガーされたワークフローで同期ノードを実行できません。
- 1 つの ECS (Elastic Compute Service) インスタンスには、 1 つだけカスタムリソースグループを追加できます。 1 つのカスタムリソースグループには、1 つだけネットワークタイプを選択できます。
- カスタムリソースグループをホストする ECS インスタンスを登録する場合、ネットワークタイプをクラシックネットワークに設定できるのは、ECS インスタンスが中国 (上海)リージョンに配置されている場合に限られます。 この場合、ECS インスタンスのホスト名を入力する必要があります。 ネットワークタイプを優先的にVPC (Virtual Private Cloud) に設定することを推奨します。 他のリージョンでは、ECS インスタンスに設定可能なネットワークタイプは VPC のみです。 この場合、登録するECSインスタンスの UUID (汎用一意識別子) を入力する必要があります。
- カスタムリソースグループをホストする ECS インスタンスのファイルにアクセスする際、管理者権限が必要となる場合があります。 たとえば、ノードのシェルスクリプトを作成する際、ECS インスタンスでシェルまたは SQL ファイルを呼び出すには、admin 権限が必要となります。
- スケジューリング用のリソースグループは、主にノードのスケジュールに使用されます。 リソースが限られているため、コンピューティングノードには適していません。 そのため、リソースグループの ECSインスタンスに、スケジューリング用としてカスタムリソースグループを追加しないことを推奨します。 MaxCompute は大量のデータを処理できます。 ビッグデータコンピューティングには MaxCompute の使用を推奨します。
制限事項
- カスタムリソースグループが存在する ECS インスタンスの時刻と現在のインターネット時刻の差は 2 分以内である必要があります。 2 分を超えている場合、サービスリクエストがタイムアウトし、カスタムリソースグループでノードが実行されない場合があります。
- alisatasknode のログファイルに、タイムアウトエラーメッセージ
response code not 200
が存在する場合、カスタムリソースグループにアクセスできない期間があったことを示しています。 カスタムリソースグループをホストしている ECS サーバーは、例外が 10 分を超えて継続しない限り動作できます。 例外の詳細を確認するには、/home/admin/alisatasknode/logs
ディレクトリの heartbeat.log を参照します。
ECS インスタンスの購入
ECS インスタンスの購入
注
- OS は、CentOS V6、CentOS V7、または AliOS を推奨します。
- 追加する ECS インスタンスで MaxCompute ノードまたは同期ノードを実行する必要がある場合、現在の ECS インスタンスの Python バージョンが V2.6 または V2.7 であることを確認してください。 (CentOS V5 の Python バージョンは V2.4 です。他のオペレーティングシステムの Python バージョンは V2.6 以降です。)
- ECS インスタンスがインターネットにアクセスできることを確認します。 ECS インスタンスで
www.alibabacloud.com
に対して ping を実行し、URL が ping 可能であることを確認します。 - ECS インスタンスは、8 コア CPU、 16 GB メモリで構成することを推奨します。
ECS インスタンスのホスト名および内部 IP アドレスの表示
ECS コンソールにログインします。 左側のナビゲーションペインで、
を選択します。 表示されるページで、購入した ECS インスタンスのホスト名と IP アドレスを確認します。ログを読み込むためのポート 8000 を有効化
注 ECS インスタンスが VPC 内にある場合、ポート 8000 を有効化する必要はありません。 このセクションの手順は、クラシックネットワークの ECS インスタンスにのみ適用されます。
- セキュリティグループル ールを追加します。
ECS コンソールにログインします。 左側のナビゲーションペインで を選択します。 表示されるページでルールを追加するセキュリティグループを確認し、[操作] 列で [ルールの追加] をクリックします。
- [セキュリティグループルールの追加] をクリックします。 ページで、右上に表示される
- [セキュリティグループルールの追加] ダイアログボックスで、必要なパラメーターを設定します。 認証オブジェクトを Data Integration の固定 IP アドレスに設定し、ポート範囲を"8000/8000" に設定します。
カスタムリソースグループの追加
- 左側のナビゲーションペインで [カスタムリソースグループ] をクリックします。 [カスタムリソースグループ] ページが表示されます。
- 右上に表示される [新しい連絡先グループ] をクリックします。
注 デフォルトでは、[カスタムリソースグループ] ページにはカスタムリソースグループのみ表示され、デフォルトのリソースグループは表示されません。
- [リソースグループの追加] ダイアログボックスで [リソースグループ名] を設定し、[次へ] をクリックします。
- [サーバーの追加] ダイアログボックスでパラメーターを設定し、 [次へ] をクリックします。
パラメーター 説明 ネットワークタイプ ECS インスタンスのネットワークタイプを設定します。 現在、クラシックネットワークタイプは中国 (上海) リージョンの ECS インスタンスでのみサポートされています。 他のリージョンの ECS インスタンスでは、 VPC のみ設定できます。 Server Name または ECS UUID - Network Type が Classic Network に設定されている場合は、 ECS インスタンスのホスト名を設定します。 ホスト名を取得するには、ECSインスタンスにログインし、
hostname
コマンドを実行します。 - Network Type が VPC に設定されている場合は、ECS インスタンスの UUID を設定します。 UUID を取得するには、ECS インスタンスにログインして
dmidecode | grep UUID
コマンドを実行します。
Server IP Address ECS インスタンスの内部 IP アドレスを設定します。 Server CPU (Cores) ECS インスタンス上の CPU コア数を設定します。 カスタムリソースグループをホストする ECS インスタンスには、少なくとも 4 つの CPU コアを設定することを推奨します。 Server RAM (GB) ECS インスタンスのメモリを設定します。 カスタムリソースグループをホストする ECS インスタンスには、少なくとも 8 GB の RAM および 80 GB のディスク容量を設定することを推奨します。 注 VPC に ECS インスタンスを追加するには、ECS インスタンスの UUID を入力します。 UUID を取得するには、ECS インスタンスにログインしてdmidecode | grep UUID
コマンドを実行します。たとえば、
dmidecode | grep UUID
コマンドでUUID: 713F4718-8446-4433-A8EC-6B5B62D7****
が返された場合、UUID は713F4718-8446-4433-A8EC-6B5B62D7****
です。 - Network Type が Classic Network に設定されている場合は、 ECS インスタンスのホスト名を設定します。 ホスト名を取得するには、ECSインスタンスにログインし、
- エージェントをインストールして初期化します。
ECS インスタンスを新規に購入し、未使用の 場合は以下の手順に従います。
- SSH を使用して、root ユーザーとしてECSインスタンスにログインします。
- 以下のコマンドを実行します。
chown admin:admin /opt/taobao //Grant the admin user the permission to access the /opt/taobao directory. wget https://alisaproxy.shuju.aliyun.com/install.sh --no-check-certificate sh install.sh --user_name=*****19d --password=****h1bm --enable_uuid=false
- しばらく待ってから、[サーバーの追加]ダイアログボックスで [更新] をクリックし、サービスのステータスが[利用可能] になることを確認します。
- ECS インスタンスのポート 8000 を有効化します。
注 install.sh スクリプトの実行時にエラーが発生した場合、または再度実行する必要がある場合、install.shスクリプトと同じディレクトリで
rm –rf install.sh
コマンドを実行して作成されたファイルを削除します。 次に、install.sh
スクリプトを再度実行します。 インストールおよび初期化プロセス中に実行する必要があるコマンドは、ユーザーごとに異なります。 初期化インターフェイスの指示に従って関連するコマンドを実行します。
前述の手順を実行してもサービスのステータスが停止の場合、下図のように、ホスト名が IP アドレスにバインドされていない可能性があります。
ホスト名を IP アドレスにバインドするには、以下の手順に従います。
- admin ユーザーに切り替えます。
hostname -i
コマンドを実行して、ホスト名のバインド情報を表示します。vim/etc/hosts
コマンドを実行して、IP アドレスとホスト名のバインドを追加します。- サービスのステータスを更新し、ECS インスタンスが登録されているかどうかを確認します。
注
- ページを更新した後も ECS インスタンスのステータスが "停止" のままの場合は、alisatasknode を再起動します。
admin ユーザーに切り替えて、以下のコマンドを実行します。
/home/admin/alisatasknode/target/alisatasknode/bin/serverctl restart
- このコマンドを実行するには、AccessKey を入力する必要があります。 AccessKey の情報は厳重に管理してください。
同期ノードに対するカスタムリソースグループの選択
同期ノードの [設定] タブで、[チャネル] セクションの[リソースグループ] に対するカスタムリソースグループを選択します。