ドラフトを開発した後、ドラフトをデプロイメントとして公開する必要があります。このようにして、開発環境と本番環境が分離されます。実行中のデプロイメントは影響を受けません。ドラフトは、ドラフトのデプロイメントが開始または再起動された後に正式に公開されます。このトピックでは、SQL デプロイメント、JAR デプロイメント、YAML デプロイメント、および Python デプロイメントを作成する方法について説明します。
前提条件
ドラフトが開発されています。
SQL デプロイメントを作成する前に、SQL ドラフトが開発されます。詳細については、「SQL ドラフトを開発する」をご参照ください。
YAML デプロイメントを作成する前に、YAML ドラフトが開発されます。詳細については、「データインジェスチョン(パブリックプレビュー)用の YAML ドラフトを開発する」をご参照ください。
Python デプロイメントを作成する前に、Python パッケージが開発されます。詳細については、「Python API ドラフトを開発する」をご参照ください。
JAR デプロイメントを作成する前に、JAR パッケージが開発されます。詳細については、「JAR ドラフトを開発する」をご参照ください。
リソースのアップロード
デプロイメントを作成する前に、ビジネス要件に基づいて、JAR パッケージ、Python デプロイメントファイル、または Python 依存関係ファイルを Realtime Compute for Apache Flink の開発コンソールにアップロードします。
Realtime Compute for Apache Flink コンソール にログオンします。
管理するワークスペースを見つけ、[アクション] 列の [コンソール] をクリックします。
左側のナビゲーションウィンドウで、[アーティファクト] をクリックします。
アーティファクトページで、[アーティファクトのアップロード] をクリックします。アップロードする JAR ファイル、Python デプロイメントファイル、または Python 依存関係ファイルを選択します。
デプロイメントが Python API デプロイメントである場合は、PyFlink の公式 JAR ファイルをアップロードします。必要なバージョンの公式 JAR ファイルをダウンロードするには、PyFlink V1.11 または PyFlink V1.12 をクリックします。
手順
Realtime Compute for Apache Flink コンソール にログオンします。
管理するワークスペースを見つけ、[アクション] 列の [コンソール] をクリックします。作成するデプロイメントのタイプに基づいて、次の手順を実行できます。
SQL デプロイメントの作成
左側のナビゲーションウィンドウで、[開発] > ETL を選択します。表示されるページで、SQL ドラフトを開発します。詳細については、「SQL ドラフトを開発する」をご参照ください。
SQL ドラフトが開発された後、エディターの右上隅にある [デプロイ] をクリックします。
[ドラフトのデプロイ] ダイアログボックスで、パラメーターを設定します。次の表にパラメーターを示します。
パラメーター
説明
コメント
オプション。デプロイメントの説明を入力します。
ラベル
デプロイメントにラベルを指定した後、[デプロイメント] ページで [ラベルキー] と [ラベル値] でデプロイメントを検索できます。デプロイメントには最大 3 つのラベルを指定できます。
デプロイメントターゲット
ドロップダウンリストから目的の [キュー] または [セッションクラスター] を選択します。本番環境ではセッションクラスターを使用しないことをお勧めします。詳細については、「キューの管理」および「デプロイメントのデバッグ」トピックの「手順 1:セッションクラスターを作成する」セクションをご参照ください。
説明セッションクラスターにデプロイされたデプロイメントのモニタリングメトリックは表示できません。セッションクラスターは、モニタリングおよびアラート機能と Autopilot 機能をサポートしていません。セッションクラスターは、開発環境とテスト環境に適しています。本番環境ではセッションクラスターを使用しないことをお勧めします。詳細については、「デプロイメントのデバッグ」をご参照ください。
デプロイ前にドラフトの検証をスキップ
このオプションを選択すると、ドラフトをデプロイメントとしてデプロイする前に構文チェックをスキップできます。
[ドラフトのデプロイ] ダイアログボックスで、[確認] をクリックします。
[デプロイメント] ページでデプロイメントを表示し、ビジネス要件に基づいてデプロイメントを開始できます。
YAML デプロイメントの作成
VVR 8.0.9 以降を使用する Realtime Compute for Apache Flink のみで YAML デプロイメントを作成できます。
左側のナビゲーションウィンドウで、[開発] > データインジェスチョン を選択します。表示されるページで、YAML ドラフトを開発します。詳細については、「データインジェスチョン(パブリックプレビュー)用の YAML ドラフトを開発する」をご参照ください。
YAML ドラフトが開発された後、エディターの右上隅にある [デプロイ] をクリックします。
[ドラフトのデプロイ] ダイアログボックスで、パラメーターを設定します。次の表にパラメーターを示します。
パラメーター
説明
コメント
オプション。デプロイメントの説明を入力します。
ラベル
デプロイメントにラベルを指定した後、ラベルキーラベル値[O&M] > デプロイメント ページで と でデプロイメントを検索できます。1 つのデプロイメントに最大 3 つのラベルを指定できます。
デプロイメントターゲット
ドロップダウンリストから目的の [キュー] を選択します。詳細については、「キューの管理」をご参照ください。
デプロイ前にドラフトの検証をスキップ
このオプションを選択すると、ドラフトをデプロイメントとしてデプロイする前に構文チェックをスキップできます。
[ドラフトのデプロイ] ダイアログボックスで、[確認] をクリックします。
[デプロイメント] ページでデプロイメントを表示し、ビジネス要件に基づいてデプロイメントを開始できます。
JAR デプロイメントの作成
左側のナビゲーションウィンドウで、[O&M] > [デプロイメント] を選択します。[デプロイメント] ページで、左上隅にある [デプロイメントの作成] > [JAR デプロイメント] を選択します。
[JAR デプロイメントの作成] ダイアログボックスで、パラメーターを設定します。次の表にパラメーターを示します。
パラメーター
説明
デプロイメントモード
ストリーミングモードまたはバッチモードを選択します。
デプロイメント名
作成する JAR デプロイメントの名前を入力します。
エンジンバージョン
エンジンバージョンの詳細については、「エンジンバージョン」および「ライフサイクルポリシー」をご参照ください。推奨バージョンまたは安定バージョンを使用することをお勧めします。
推奨バージョン:最新メジャーバージョンの最新マイナーバージョン。
安定バージョン:製品のサービス期間内にあるメジャーバージョンの最新マイナーバージョン。以前のバージョンの不具合は、このようなバージョンで修正されています。
通常バージョン:製品のサービス期間内にあるその他のマイナーバージョン。
非推奨バージョン:製品のサービス期間を超えたバージョン。
説明VVR 3.0.3 以降では、Ververica Platform(VVP)で異なるエンジンバージョンを使用する JAR デプロイメントを同時に実行できます。VVR 3.0.3 を使用する Flink エンジンのバージョンは Flink 1.12 です。デプロイメントのエンジンバージョンが Flink 1.12 以前の場合は、デプロイメントが使用するエンジンバージョンに基づいて、次の操作を実行してエンジンバージョンを更新できます。
Flink 1.12:デプロイメントを停止してから再起動します。その後、システムはデプロイメントのエンジンバージョンを vvr-3.0.3-flink-1.12 に自動的に更新します。
Flink 1.11 または Flink 1.10:デプロイメントのエンジンバージョンを vvr-3.0.3-flink-1.12 または vvr-4.0.8-flink-1.13 に手動で更新し、デプロイメントを再起動します。そうしないと、デプロイメントの開始時にタイムアウトエラーが発生します。
JAR URI
ファイルを選択するか、新しいファイルをアップロードします。アップロードするファイルをこのフィールドにドラッグするか、右側の
アイコンをクリックしてアップロードするファイルを選択できます。
説明VVR 8.0.6 以降を使用する Realtime Compute for Apache Flink では、ワークスペースのアクティブ化時に Realtime Compute for Apache Flink ワークスペースに関連付けるために選択したバケットのみにアクセスできます。
デプロイメントが Python API デプロイメントである場合は、PyFlink の公式 JAR ファイルをアップロードします。必要なバージョンの公式 JAR ファイルをダウンロードするには、PyFlink V1.11 または PyFlink V1.12 をクリックします。
エントリポイントクラス
アプリケーションのエントリポイントクラスを指定します。JAR ファイルのメインクラスを指定しない場合は、[エントリポイントクラス] フィールドに標準パスを入力します。
説明デプロイメントが Python API デプロイメントである場合は、[エントリポイントクラス] フィールドに org.apache.flink.client.python.PythonDriver と入力します。
エントリポイントのメイン引数
パラメーターを渡して、main メソッドで呼び出すことができます。
説明パラメーター情報は 1,024 文字を超えることはできません。複雑なパラメーターを使用しないことをお勧めします。改行、スペース、またはその他の特殊文字を含むパラメーターは、複雑なパラメーターと見なされます。複雑なパラメーターを渡す場合は、依存関係ファイルを使用します。
デプロイメントが Python API デプロイメントである場合は、最初に Python デプロイメントファイルをアップロードします。デフォルトでは、Python デプロイメントファイルをアップロードした後、ファイルはデプロイメントを実行するノードの /flink/usrlib/ ディレクトリにアップロードされます。
Python デプロイメントファイルの名前が word_count.py の場合は、[エントリポイントのメイン引数] フィールドに
-py /flink/usrlib/word_count.py
と入力します。Python デプロイメントファイルのフルパスを入力します。/flink/usrlib/ を省略または変更することはできません。
追加の依存関係
(推奨)アップロードした依存関係ファイルを選択します。
依存関係ファイルを事前にアップロードする必要があります。成果物Realtime Compute for Apache Flink の開発コンソールの
追加の依存関係
oss://<ワークスペースに関連付けられている OSS バケットの名前>/artifacts/namespaces/<名前空間の名前>
ページの左上隅にある [アーティファクトのアップロード] をクリックして、依存関係ファイルをアップロードします。または、[Jar デプロイメントの作成] ダイアログボックスの の右側にある アイコンをクリックします。アップロードした依存関係ファイルは、ワークスペースのアクティブ化時に Realtime Compute for Apache Flink ワークスペースに関連付けるために選択した Object Storage Service (OSS) バケットの artifacts ディレクトリに保存されます。ファイルディレクトリのフォーマットは、 です。必要な依存関係ファイルが保存されている OSS バケットを入力します。
依存関係ファイルがアップロードされる OSS バケットは、現在の Realtime Compute for Apache Flink ワークスペースをアクティブ化したときに選択した OSS バケットである必要があります。
必要な依存関係ファイルの URL を入力します。
Realtime Compute for Apache Flink がアクセスでき、アクセスが許可されている外部ストレージシステムの URL を入力する必要があります。外部ストレージシステムのアクセス制御リスト(ACL)は公開読み取りであるか、Realtime Compute for Apache Flink に外部ストレージシステムにアクセスする権限が必要です。ファイル名で終わる URL のみがサポートされます(例:http://xxxxxx/<file>)。
説明上記のいずれかの方法でアップロードした依存関係ファイルは、デスティネーションマシンにもダウンロードできます。デプロイメントの実行中は、依存関係ファイルは JobManager と TaskManager が存在するポッドの /flink/usrlib ディレクトリにロードされます。
[デプロイメントターゲット] にセッションクラスターを選択した場合、デプロイメントの依存関係ファイルを設定することはできません。
デプロイメントターゲット
ドロップダウンリストから目的の [キュー] または [セッションクラスター] を選択します。本番環境ではセッションクラスターを使用しないことをお勧めします。詳細については、「キューの管理」および「デプロイメントのデバッグ」トピックの「手順 1:セッションクラスターを作成する」セクションをご参照ください。
説明セッションクラスターにデプロイされたデプロイメントのモニタリングメトリックは表示できません。セッションクラスターは、モニタリングおよびアラート機能と Autopilot 機能をサポートしていません。セッションクラスターは、開発環境とテスト環境に適しています。本番環境ではセッションクラスターを使用しないことをお勧めします。詳細については、「デプロイメントのデバッグ」をご参照ください。
説明
オプション。デプロイメントの説明を入力します。
ラベル
デプロイメントにラベルを指定した後、[デプロイメント] ページで [ラベルキー] と [ラベル値] でデプロイメントを検索できます。1 つのデプロイメントに最大 3 つのラベルを指定できます。
詳細設定
スイッチをオンにした場合、次のパラメーターを設定する必要があります。
Kerberos 名:ドロップダウンリストから Kerberos 認証をサポートする Hive クラスターを選択します。Kerberos 認証をサポートする Hive クラスターの作成方法の詳細については、「Kerberos 認証をサポートする Hive クラスターを登録する」をご参照ください。
プリンシパル:Kerberos プリンシパル。ユーザーまたはサービスです。Kerberos プリンシパルは、Kerberos 暗号化システムで ID を一意に識別するために使用されます。
[デプロイ] をクリックします。
[デプロイメント] ページでデプロイメントを表示し、ビジネス要件に基づいてデプロイメントを開始できます。
Python デプロイメントの作成
左側のナビゲーションウィンドウで、[O&M] > [デプロイメント] を選択します。[デプロイメント] ページで、左上隅にある [デプロイメントの作成] > [python デプロイメント] を選択します。
[Python デプロイメントの作成] ダイアログボックスで、パラメーターを設定します。次の表にパラメーターを示します。
パラメーター
説明
デプロイメントモード
ストリーミングモードまたはバッチモードを選択します。
デプロイメント名
作成するデプロイメントの名前を入力します。
エンジンバージョン
エンジンバージョンの詳細については、「エンジンバージョン」および「ライフサイクルポリシー」をご参照ください。推奨バージョンまたは安定バージョンを使用することをお勧めします。
推奨バージョン:最新メジャーバージョンの最新マイナーバージョン。
安定バージョン:製品のサービス期間内にあるメジャーバージョンの最新マイナーバージョン。以前のバージョンの不具合は、このようなバージョンで修正されています。
通常バージョン:製品のサービス期間内にあるその他のマイナーバージョン。
非推奨バージョン:製品のサービス期間を超えたバージョン。
説明VVR 3.0.3 以降では、VVP で異なるエンジンバージョンを使用する Python デプロイメントを同時に実行できます。VVR 3.0.3 を使用する Flink エンジンのバージョンは Flink 1.12 です。デプロイメントのエンジンバージョンが Flink 1.12 以前の場合は、デプロイメントが使用するエンジンバージョンに基づいて、次の操作を実行してエンジンバージョンを更新できます。
Flink 1.12:デプロイメントを停止してから再起動します。その後、システムはデプロイメントのエンジンバージョンを vvr-3.0.3-flink-1.12 に自動的に更新します。
Flink 1.11 または Flink 1.10:デプロイメントのエンジンバージョンを vvr-3.0.3-flink-1.12 または vvr-4.0.8-flink-1.13 に手動で更新し、デプロイメントを再起動します。そうしないと、デプロイメントの開始時にタイムアウトエラーが発生します。
Python URI
アップロードする Python デプロイメントファイルにアクセスするために使用される Uniform Resource Identifier(URI)を指定します。
Python デプロイメントファイルは、.py ファイルまたは .zip ファイルです。
[エントリモジュール] パラメーターが空の場合、このパラメーターを .py ファイルの URI に設定する必要があります。
エントリモジュール
Python アプリケーションのエントリポイントクラス(例:example.word_count)。
指定した [python URI] パラメーターが .zip ファイルの URI である場合は、このパラメーターを設定する必要があります。
エントリポイントのメイン引数
デプロイメントのパラメーターを入力します。
Python ライブラリ
使用するサードパーティの Python パッケージを指定します。アップロードしたサードパーティの Python パッケージは、Python ワーカープロセスの PYTHONPATH に追加されるため、Python ユーザー定義関数(UDF)でパッケージに直接アクセスできます。サードパーティの Python ライブラリの使用方法の詳細については、「Python 依存関係の使用」トピックの「サードパーティの Python パッケージを使用する」セクションをご参照ください。
Python アーカイブ
アーカイブファイルを指定します。.zip、.jar、.whl、.egg などの ZIP ファイルのみがサポートされています。
アーカイブファイルは Python ワーカープロセスの作業ディレクトリに解凍されます。たとえば、アーカイブファイルが配置されている圧縮ファイルの名前が mydata.zip の場合、Python UDF で次のコードを記述して mydata.zip アーカイブファイルにアクセスできます。
def map(): with open("mydata.zip/mydata/data.txt") as f: ...
詳細については、「Python 依存関係の使用」トピックの「カスタム Python 仮想環境の使用」セクションと「データファイルの使用」セクションをご参照ください。
追加の依存関係
デプロイメント用のファイル(Python デプロイメントファイルやデプロイメントに必要なデータファイルなど)をアップロードできます。Python 依存関係の詳細については、「Python 依存関係」をご参照ください。
(推奨)アップロードした依存関係ファイルを選択します。
依存関係ファイルを事前にアップロードする必要があります。成果物Realtime Compute for Apache Flink の開発コンソールの
追加の依存関係
oss://<ワークスペースに関連付けられている OSS バケットの名前>/artifacts/namespaces/<名前空間の名前>
ページの左上隅にある [アーティファクトのアップロード] をクリックして、依存関係ファイルをアップロードします。または、[Jar デプロイメントの作成] ダイアログボックスの の右側にある アイコンをクリックします。アップロードした依存関係ファイルは、ワークスペースのアクティブ化時に Realtime Compute for Apache Flink ワークスペースに関連付けるために選択した Object Storage Service (OSS) バケットの artifacts ディレクトリに保存されます。ファイルディレクトリのフォーマットは、 です。必要な依存関係ファイルが保存されている OSS バケットを入力します。
依存関係ファイルがアップロードされる OSS バケットは、現在の Realtime Compute for Apache Flink ワークスペースをアクティブ化したときに選択した OSS バケットである必要があります。
必要な依存関係ファイルの URL を入力します。
Realtime Compute for Apache Flink がアクセスでき、アクセスが許可されている外部ストレージシステムの URL を入力する必要があります。外部ストレージシステムのアクセス制御リスト(ACL)は公開読み取りであるか、Realtime Compute for Apache Flink に外部ストレージシステムにアクセスする権限が必要です。ファイル名で終わる URL のみがサポートされます(例:http://xxxxxx/<file>)。
説明上記のいずれかの方法でアップロードした依存関係ファイルは、デスティネーションマシンにもダウンロードできます。デプロイメントの実行中は、依存関係ファイルは JobManager と TaskManager が存在するポッドの /flink/usrlib ディレクトリにロードされます。
[デプロイメントターゲット] にセッションクラスターを選択した場合、デプロイメントの依存関係ファイルを設定することはできません。
デプロイメントターゲット
ドロップダウンリストから目的の [キュー] または [セッションクラスター] を選択します。本番環境ではセッションクラスターを使用しないことをお勧めします。詳細については、「キューの管理」および「デプロイメントのデバッグ」トピックの「手順 1:セッションクラスターを作成する」セクションをご参照ください。
説明セッションクラスターにデプロイされたデプロイメントのモニタリングメトリックは表示できません。セッションクラスターは、モニタリングおよびアラート機能と Autopilot 機能をサポートしていません。セッションクラスターは、開発環境とテスト環境に適しています。本番環境ではセッションクラスターを使用しないことをお勧めします。詳細については、「ドラフトのデバッグ」をご参照ください。
説明
オプション。デプロイメントの説明を入力します。
ラベル
デプロイメントにラベルを指定した後、[デプロイメント] ページで [ラベルキー] と [ラベル値] でデプロイメントを検索できます。1 つのデプロイメントに最大 3 つのラベルを指定できます。
詳細設定
スイッチをオンにした場合、次のパラメーターを設定する必要があります。
Kerberos 名:ドロップダウンリストから Kerberos 認証をサポートする Hive クラスターを選択します。Kerberos 認証をサポートする Hive クラスターの作成方法の詳細については、「Kerberos 認証をサポートする Hive クラスターを登録する」をご参照ください。
プリンシパル:Kerberos プリンシパル。ユーザーまたはサービスです。Kerberos プリンシパルは、Kerberos 暗号化システムで ID を一意に識別するために使用されます。
[デプロイメントの作成] ダイアログボックスで、[デプロイ] をクリックします。
[デプロイメント] ページでデプロイメントを表示し、ビジネス要件に基づいてデプロイメントを開始できます。
参照
デプロイメントを開始する前、またはデプロイメントのドラフトを公開した後に、デプロイメントとデプロイメントのリソースを設定および変更できます。詳細については、「デプロイメントを設定する」および「デプロイメントのリソースを設定する」をご参照ください。
デプロイメントを作成した後、[デプロイメント] ページでデプロイメントを開始して、デプロイメントを実行できます。デプロイメントの開始方法の詳細については、「デプロイメントを開始する」をご参照ください。