Platform for AI (PAI) では、フルマネージドFlinkリソースをPAIワークスペースに関連付け、モデルの大規模な分散トレーニングにリソースを使用できます。 このトピックでは、フルマネージドFlinkリソースを購入し、そのリソースを使用してモデルをトレーニングする方法について説明します。
フルマネージドFlinkリソース
Alibaba Cloud Realtime Compute for Apache Flinkは、Apache Flink上に構築されたエンドツーエンドのリアルタイムビッグデータ分析プラットフォームであり、1秒未満の応答時間でデータを処理できます。 詳細については、「」をご参照ください。Alibaba Cloud Realtime Compute for Apache Flinkとは
前提条件
このトピックで説明する操作を実行する前に、次の要件が満たされていることを確認してください。
Alibaba Cloud アカウントの登録が必要です。 Alibaba Cloudアカウントをお持ちでない場合は、まずアカウントを作成してください。
アカウントと権限の要件
Alibaba Cloudアカウント (推奨): Alibaba Cloudアカウントを使用して、追加の権限なしですべての操作を完了できます。
RAM ユーザー：
RAMユーザーを使用してフルマネージドFlinkリソースを購入する場合は、RAMユーザーに
AliyunStreamFullAccess権限を付与する必要があります。 詳細については、「RAMユーザーへの権限付与」をご参照ください。Flinkにタスクを送信する場合は、Flinkコンソールの名前空間のRAMユーザーに所有者ロールを割り当てる必要があります。 詳細については、「アカウントに名前空間で操作を実行する権限を付与する」をご参照ください。
RAMユーザーを使用してフルマネージドFlinkリソースをワークスペースに関連付ける場合は、ワークスペース内のRAMユーザーに管理者ロールを割り当てる必要があります。 RAMユーザーを使用して、Machine Learning DesignerでフルマネージドFlinkリソースを使用してモデルトレーニングを実行する場合は、ワークスペースのRAMユーザーにアルゴリズム開発者ロールを割り当てる必要があります。 詳細については、「ワークスペースのメンバーの管理」をご参照ください。
フルマネージドFlinkリソースの購入
PAIコンソールにログインします。
左側のナビゲーションウィンドウで、 を選択します。 [リソースクォータ] ページで、[フルマネージドFlinkリソース] をクリックします。
(オプション) [Fully Managed Flink Resources] タブで、[有効化] をクリックします。
説明フルマネージドFlinkリソースを初めて使用するときは、この操作を実行してフルマネージドFlinkリソースを購入する必要があります。 詳細については、「フルマネージドFlinkの有効化」をご参照ください。
Realtime Compute for Apache Flinkを有効化していて、フルマネージドFlinkリソースをさらに購入する場合は、次の手順に進みます。
[完全管理Flink] タブで、リソースをクリックします。
Realtime Compute for Apache Flinkコンソールで、[購入] をクリックします。 フルマネージドFlinkリソースの購入方法の詳細については、「フルマネージドFlinkの有効化」をご参照ください。
フルマネージドFlinkリソースを購入した後、[フルマネージドFlinkリソース] タブでリソースやその他の情報を表示できます。
フルマネージドFlinkリソースをワークスペースに関連付ける
ワークスペースでのコンピューティングにフルマネージドFlinkリソースを使用する場合は、次のいずれかの方法を使用してリソースをワークスペースに関連付ける必要があります。
ワークスペースの作成時に、ワークスペースにリソースグループを追加します。 詳細については、「ワークスペースの作成」をご参照ください。
次の手順を実行して、フルマネージドFlinkリソースを既存のワークスペースに関連付けます。
PAIコンソールにログインします。
左側のナビゲーションウィンドウで、[ワークスペース] をクリックします。 [ワークスペース] リストページで、フルマネージドFlinkリソースを関連付けるワークスペースを見つけ、ワークスペース名をクリックします。
[ワークスペースの詳細] ページの右側で、[リソース] をクリックし、画面の指示に従ってフルマネージドFlinkリソースをワークスペースに関連付けます。 詳細については、ワークスペースの管理トピックの「ワークスペースのコンピューティングリソースの管理」セクションを参照してください。
フルマネージドFlinkリソースを使用してMachine Learning Designerでモデルをトレーニングする
フルマネージドFlinkリソースに関連付けられているワークスペースに移動します。 [Visualized Modeling (Designer)] ページで空白のパイプラインを作成します。 詳細については、「データの準備」をご参照ください。
フルマネージドFlinkリソースで実行できる次のコンポーネントをキャンバスにドラッグできます。
Alinkフレームワークのすべてのコンポーネント (Beta Algorithmフォルダー内のコンポーネントを除く) 。 各Alinkコンポーネントは紫色のドットでマークされています。
カスタムアルゴリズムコンポーネント。 詳細については、「PyAlinkスクリプト」をご参照ください。
パイプラインのプロパティ右側のウィンドウのタブで、Alinkが推奨するデフォルトのリソースタイプパラメーターをFlink.
重要グループ内でAlinkコンポーネントを実行する場合は、Alinkで優先されるデフォルトのリソースタイプパラメーターをFlinkに設定する必要があります。 それ以外の場合、Alinkグループのデフォルトタイプのリソースが使用されます。 Alinkグループの実行リソースタイプを設定する方法の詳細については、「高度な機能: Alinkコンポーネントのグループでの実行」をご参照ください。
次のいずれかの方法でコンポーネントを実行します。
フルマネージドFlinkリソースに依存する単一のコンポーネントを実行します。 たとえば、PyAlinkスクリプトコンポーネントを実行できます。 詳細については、「PyAlinkスクリプト」をご参照ください。
フルマネージドFlinkリソースに依存するコンポーネントと他のタイプのリソースに依存するコンポーネントを連結して実行します。 たとえば、FMトレイン、FM予測、およびバイナリ分類評価コンポーネントを含む因数分解マシン (FM) レコメンデーションモデルを作成できます。 FMトレインおよびFM予測コンポーネントは、完全に管理されたFlinkリソースに依存します。 バイナリ分類評価コンポーネントは、MaxComputeリソースに依存します。 詳細については、「Alinkフレームワークに基づくFMレコメンデーションモデルの作成」をご参照ください。
フルマネージドFlinkリソースに依存する複数のコンポーネントを一度に実行します。 詳細については、「高度な機能: Alinkコンポーネントがグループで実行される」をご参照ください。
コンポーネントを実行した後、キャンバス上でコンポーネントを右クリックし、ログの表示コンポーネントのログを表示します。
[ログ] タブで、ログコンテンツのVerverica Platform (VVP) リンクをクリックして、コンポーネントのコンピューティングの詳細を表示することもできます。