Realtime Compute for Apache Flink:リファレンス

OSS コンソールでリソースファイルをアップロードするにはどうすればよいですか？

1. Realtime Compute for Apache Flink の管理コンソールで、ワークスペースに関連付けられているオブジェクトストレージサービス（OSS）バケットに関する情報を表示します。

   

   次の図は、OSS バケットに関する情報を示しています。

2. OSSコンソール にログオンし、リソースファイルを OSSバケットの /artifacts/namespaces ディレクトリにアップロードします。

3. Realtime Compute for Apache Flink の開発コンソールの左側のナビゲーションペインで、[成果物] をクリックして、OSS コンソールにアップロードしたリソースファイルを表示します。

   

デプロイ実行用のパラメーターを構成するにはどうすればよいですか?

1. Realtime Compute for Apache Flink コンソールにログオンします。

2. 管理するワークスペースを見つけ、[アクション] 列の [コンソール] をクリックします。

3. 左側のナビゲーションペインで、[O&M] > [デプロイ] をクリックします。[デプロイ] ページで、管理するデプロイの名前をクリックします。

4. [構成] タブの [パラメーター] セクションの右上隅にある [編集] をクリックします。

5. [パラメーター] セクションで、[その他の構成] フィールドに次の関連構成を追加します。

   各キーと値のペアの間のコロン（:）の後にスペースがあることを確認してください。サンプルコード：

   task.cancellation.timeout: 180s

6. [パラメーター] セクションの右上隅にある [保存] をクリックします。

GC ログを有効にするにはどうすればよいですか？

env.java.opts:>--XX: +PrintGCDetails-XX:+PrintGCDateStamps-Xloggc:/flink/log/gc.log-XX:+UseGCLogFileRotation-XX:NumberOfGCLogFiles=2-XX:GCLogFileSize=50M

アラートをトリガーしたデプロイを見つけるにはどうすればよいですか？

ワークスペース ID など、ワークスペースに関する情報を表示するにはどうすればよいですか？

アカウントの AccessKey ID と AccessKey シークレットに関する情報を表示するにはどうすればよいですか？

デプロイで使用されている Realtime Compute for Apache Flink のエンジンバージョンをクエリするにはどうすればよいですか？

Realtime Compute for Apache Flink で自動的にアクティブ化される Prometheus サービスを非アクティブ化するにはどうすればよいですか？

Realtime Compute for Apache Flink の監視が不要になった場合は、次の手順を実行して Prometheus サービスを非アクティブ化します。

1. Prometheus サービスコンソールにログオンします。

2. 左側のナビゲーションペインで、[インスタンス] をクリックして、[Prometheus サービス] ページに移動します。

3. [タグでフィルタリング] ドロップダウンリストから、管理するワークスペースの ID または名前を選択します。

4. [インスタンスタイプ] が [prometheus For Flink Serverless] であるインスタンスを見つけ、[アクション] 列の [アンインストール] をクリックします。

5. 表示されるメッセージで、[OK] をクリックします。

ホワイトリストを設定するにはどうすればよいですか？

Realtime Compute for Apache Flink コンソールにログオンするときに、アカウントに必要な権限がない場合はどうすればよいですか？Realtime Compute for Apache Flinkコンソールにログオンしたときに、アカウントに必要な権限がない場合はどうすればよいですか？

• 問題の説明

  Realtime Compute for Apache Flink コンソールにログオンすると、次の図に示すエラーメッセージが表示されます。

  

• 原因

  Realtime Compute for Apache Flink ワークスペースを表示する権限がないか、特定のリソースグループの権限のみがあります。

• 解決策

  • 特定のリソースグループの権限のみがある場合は、コンソールの上部で関連するリソースグループを選択し、リージョンを選択して目的のワークスペースを表示します。

    

  • Realtime Compute for Apache Flink ワークスペースを表示する権限がない場合は、RAM ロールが割り当てられている RAM ユーザーまたは Alibaba Cloud アカウントに関連する権限を付与します。詳細については、「RAM ユーザーへの権限の付与」をご参照ください。

    Realtime Compute for Apache Flink ワークスペースを表示する権限を含む次のポリシーのいずれかを選択できます。

    • システムポリシー: AliyunStreamReadOnlyAccess（Realtime Compute for Apache Flink に読み取り専用モードでアクセスする権限）または AliyunStreamFullAccess（Realtime Compute for Apache Flink のすべての権限）。詳細については、「システムポリシー」をご参照ください。

    • カスタムポリシー: stream:DescribeVvpInstances（ワークスペースを表示する権限）。詳細については、「カスタムポリシー」をご参照ください。

Realtime Compute for Apache Flink はどのようにインターネットにアクセスしますか？

• 背景情報

  デフォルトでは、Realtime Compute for Apache Flink はインターネットにアクセスできません。そのため、Alibaba Cloud は、仮想プライベートクラウド（VPC）とインターネット間の通信を可能にする NAT ゲートウェイを提供しています。これにより、Realtime Compute for Apache Flink のユーザーは、ユーザー定義関数（UDF）または DataStream コードを使用してインターネットにアクセスできます。

• 解決策

  VPC に NAT ゲートウェイを作成します。次に、ソースネットワークアドレス変換（SNAT）エントリを作成して、Realtime Compute for Apache Flink に関連付けられている vSwitch をエラスティック IP アドレス（EIP）にバインドします。これにより、サービスは EIP を使用してインターネットにアクセスできます。EIP を使用してインターネットにアクセスするには、次の手順を実行します。

  1. NAT ゲートウェイを作成します。詳細については、「NAT ゲートウェイの作成」をご参照ください。

  2. SNAT エントリを作成し、Realtime Compute for Apache Flink に関連付けられている vSwitch を EIP にバインドします。詳細については、「SNAT エントリの作成と管理」をご参照ください。

Realtime Compute for Apache Flink はどのように VPC を介してサービスにアクセスしますか？

Realtime Compute for Apache Flink の開発コンソールでネットワーク検出機能を使用するにはどうすればよいですか？Realtime Compute for Apache Flink の開発コンソールでネットワーク検出機能を使用するにはどうすればよいですか?

Realtime Compute for Apache Flink は、ネットワーク検出機能をサポートしています。ネットワーク検出機能を使用するには、Realtime Compute for Apache Flink の開発コンソールで次の手順を実行します。

1. Realtime Compute for Apache Flink コンソールにログオンします。

2. 管理するワークスペースを見つけ、アクション 列の [コンソール] をクリックします。

3. 上部のナビゲーションバーで、[ネットワーク検出] アイコンをクリックします。

   

4. [ネットワーク検出] ダイアログボックスで、[ホスト] パラメーターを設定して IP アドレスまたはエンドポイントを指定し、Realtime Compute for Apache Flink デプロイの実行環境がアップストリームシステムとダウンストリームシステムに接続されているかどうかを確認します。

   重要

   エンドポイントを指定する場合は、エンドポイントの末尾から :<port> を削除し、[ネットワーク検出] ダイアログボックスの [ポート] フィールドに <port> を入力します。

   

Realtime Compute for Apache Flink の依存関係の競合をトラブルシューティングするにはどうすればよいですか？

• 問題の説明

  • Realtime Compute for Apache Flink または Hadoop に関連する例外が原因でエラーが報告されます。

    java.lang.AbstractMethodError
    java.lang.ClassNotFoundException
    java.lang.IllegalAccessError
    java.lang.IllegalAccessException
    java.lang.InstantiationError
    java.lang.InstantiationException
    java.lang.InvocationTargetException
    java.lang.NoClassDefFoundError
    java.lang.NoSuchFieldError
    java.lang.NoSuchFieldException
    java.lang.NoSuchMethodError
    java.lang.NoSuchMethodException

  • エラーは報告されませんが、次のいずれかの問題が発生します。

    • ログが生成されないか、Log4j 構成が有効になりません。

      ほとんどの場合、この問題は、依存関係に Log4j 構成が含まれているために発生します。この問題を解決するには、デプロイの JAR ファイル内の依存関係に Log4j 構成が含まれているかどうかを確認する必要があります。依存関係に Log4j 構成が含まれている場合は、依存関係で除外を設定して Log4j 構成を削除できます。

      説明

      異なるバージョンの Log4j を使用する場合は、maven-shade-plugin を使用して Log4j 関連のクラスを再配置する必要があります。

    • リモートプロシージャコール（RPC）が失敗します。

      デフォルトでは、Realtime Compute for Apache Flink の Akka RPC 中の依存関係の競合によって発生したエラーはログに記録されません。これらのエラーを確認するには、デバッグログを有効にする必要があります。

      たとえば、デバッグログには Cannot allocate the requested resources. Trying to allocate ResourceProfile{xxx} が記録されます。ただし、JobManager ログはメッセージ Registering TaskManager with ResourceID xxx で停止し、リソース要求がタイムアウトしてメッセージ NoResourceAvailableException が表示されるまで、情報は表示されません。さらに、TaskManager はエラーメッセージ Cannot allocate the requested resources. Trying to allocate ResourceProfile{xxx} を継続的に報告します。

      原因: デバッグログを有効にすると、RPC エラーメッセージ InvocationTargetException が表示されます。この場合、TaskManager にスロットを割り当てることができず、TaskManager のステータスに不整合が生じます。その結果、スロットを割り当てることができず、エラーを修正できません。

• 原因

  • デプロイの JAR パッケージには、基本構成、Realtime Compute for Apache Flink、Hadoop、Log4j などの不要な依存関係が含まれています。その結果、依存関係の競合が発生し、いくつかの問題が発生します。

  • デプロイに必要なコネクターに対応する依存関係が JAR パッケージに含まれていません。

• トラブルシューティング

  • デプロイの pom.xml ファイルに不要な依存関係が含まれていないかどうかを確認します。

  • jar tf foo.jar コマンドを実行して JAR パッケージの内容を表示し、パッケージに依存関係の競合を引き起こすコンテンツが含まれているかどうかを判断します。

  • mvn dependency:tree コマンドを実行して、デプロイの依存関係を確認し、依存関係の競合が存在するかどうかを判断します。

• 解決策

  • 基本構成の依存関係のスコープを provided に設定することをお勧めします。これにより、基本構成の依存関係はデプロイの JAR パッケージに含まれません。

    • DataStream Java

      <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-java_2.11</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
      </dependency>

    • DataStream Scala

      <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-scala_2.11</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
      </dependency>

    • DataSet Java

      <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-java</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
      </dependency>

    • DataSet Scala

      <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-scala_2.11</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
      </dependency>

  • デプロイに必要なコネクターに対応する依存関係を追加し、スコープを compile に設定します。これにより、必要なコネクターに対応する依存関係が JAR パッケージに含まれます。スコープのデフォルト値は compile です。次のコードでは、Kafka コネクターを例として使用しています。

    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-kafka_2.11</artifactId>
        <version>${flink.version}</version>
    </dependency>

  • Realtime Compute for Apache Flink、Hadoop、または Log4j の依存関係を追加しないことをお勧めします。次の例外に注意してください。

    • デプロイに基本構成またはコネクターの直接の依存関係がある場合は、スコープを provided に設定することをお勧めします。サンプルコード:

      <dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-common</artifactId>
          <scope>provided</scope>
      </dependency>

    • デプロイに基本構成またはコネクターの間接的な依存関係がある場合は、除外を設定して依存関係を削除することをお勧めします。サンプルコード:

      <dependency>
          <groupId>foo</groupId>
            <artifactId>bar</artifactId>
            <exclusions>
              <exclusion>
              <groupId>org.apache.hadoop</groupId>
              <artifactId>hadoop-common</artifactId>
             </exclusion>
          </exclusions>
      </dependency>

Realtime Compute for Apache Flink デプロイメントが依存するサービスのドメイン名を解決するにはどうすればよいですか？