Realtime Compute for Apache Flink：操作指導

如何在OSS控制台上傳資源檔？

1. 在Realtime Compute管理主控台上查看當前工作空間綁定的OSS Bucket資訊。

   

   OSS Bucket資訊如下圖所示。

2. 登入OSS管理主控台，上傳資源檔至目標Bucket的/artifacts/namespaces目錄下。

3. 在Realtime Compute開發控制台左側導覽列，單擊資源管理，查看通過OSS控制台上傳的資源檔。

   

如何配置作業運行參數？

1. 登入Realtime Compute控制台。

2. 單擊目標工作空間操作列下的控制台。

3. 在作業營運頁面，單擊目標作業名稱。

4. 在部署詳情頁簽，單擊運行參數配置地區右側編輯。

5. 在其他配置項中，配置代碼資訊。程式碼範例如下。

   請確保索引值對之間冒號後存在一個空格。

   task.cancellation.timeout: 180s

6. 單擊儲存。

如何開啟GC日誌？

env.java.opts:>--XX: +PrintGCDetails-XX:+PrintGCDateStamps-Xloggc:/flink/log/gc.log-XX:+UseGCLogFileRotation-XX:NumberOfGCLogFiles=2-XX:GCLogFileSize=50M

如何尋找引發警示的作業？

如何查看工作空間ID等資訊？

如何查看AccessKey ID和AccessKey Secret資訊？

如何查看當前作業的Flink版本？

如何關閉系統自動開通的Prometheus監控服務？

如果您不再需要對Realtime ComputeFlink版進行監控，您可以按照如下步驟卸載Prometheus監控服務：

1. 登入Prometheus控制台。

2. 在左側導覽列單擊執行個體列表，進入可觀測監控Prometheus版的執行個體列表頁面。

3. 在標籤篩選下拉式清單中，選擇目標工作空間的ID或名稱。

4. 單擊執行個體類型為Prometheus for Flink Serverless的執行個體對應操作列的卸載。

5. 在彈出的對話方塊中，單擊確認。

如何設定白名單？

登入Realtime Compute控制台提示當前帳號缺少許可權

• 問題詳情

  登入Realtime Compute控制台時提示：許可權不足無法完成本次操作，需要操作描述符[stream:DescribeVvpInstances]和資源描述符[acs:stream:cn-beijing:1418886*********:vvpinstance/*]，請聯絡主帳號管理員。

  

• 問題原因

  當前登入身份缺少查看Flink工作空間的許可權，或僅具有某個資源群組的許可權。

• 解決方案

  • 如果您僅具有某個資源群組許可權，請在控制台上方選擇對應資源群組，並選擇對應地區查看目標工作空間。

    

  • 如果當前身份未被授權，參考RAM授權操作為對應RAM使用者或角色添加具有查看Flink工作空間操作的權限原則。

    以下權限原則包含了查看Flink工作空間的許可權，您選擇添加以下任意一個即可。

    • 系統策略：AliyunStreamReadOnlyAccess（唯讀訪問Realtime Compute服務）或AliyunStreamFullAccess（Realtime Compute服務所有許可權），詳情請參見系統權限原則。

    • 自訂策略：stream:DescribeVvpInstances（查看工作空間），詳情請參見自訂權限原則。

Realtime ComputeFlink版如何訪問公網？

• 背景說明

  Realtime ComputeFlink版預設不具備訪問公網的能力，但阿里雲提供的NAT Gateway可以實現VPC網路與公網網路互連，以滿足部分Realtime ComputeFlink版使用者通過UDX或Datastream代碼訪問公網的需求。

• 解決方案

  通過在VPC中建立NAT Gateway，並建立SNAT條目，將Realtime ComputeFlink版所在的交換器綁定至Elastic IP Address（EIP），即可通過EIP訪問公網。具體配置方法請參見：

  1. 建立NAT Gateway，詳情請參見建立NAT Gateway。

  2. 建立交換器粒度的SNAT條目並綁定Elastic IP Address，詳情請參見建立SNAT條目。

如何訪問跨VPC的其他服務？

如何在Flink開發頁面進行網路探測？

Flink支援網路探測能力，您可以在Flink開發控制台進行網路探測，具體步驟如下：

1. 登入Realtime Compute控制台。

2. 單擊目標工作空間操作列下的控制台。

3. 單擊頁面上方的探測表徵圖。

   

4. 通過輸入Endpoint或者IP地址的方式檢測Flink作業啟動並執行環境與您的上下遊系統是否聯通。

   重要

   輸入Endpoint時，請刪除後面的:<port>，並將<port>放到網路探測的Port欄輸入。

   

如何解決Flink依賴衝突問題？

• 問題現象

  • 有明顯報錯，且引發錯誤的為Flink或Hadoop相關類。

    java.lang.AbstractMethodError
    java.lang.ClassNotFoundException
    java.lang.IllegalAccessError
    java.lang.IllegalAccessException
    java.lang.InstantiationError
    java.lang.InstantiationException
    java.lang.InvocationTargetException
    java.lang.NoClassDefFoundError
    java.lang.NoSuchFieldError
    java.lang.NoSuchFieldException
    java.lang.NoSuchMethodError
    java.lang.NoSuchMethodException

  • 無明顯報錯，但會引起一些不符合預期的現象，例如：

    • 日誌不輸出或log4j配置不生效。

      該類問題通常是由於依賴中攜帶了log4j相關配置導致的。需要排查作業JAR包中是否引入了log4j配置的依賴，可以通過在dependency中配置exclusions的方式去掉log4j配置。

      說明

      如果必須要使用不同版本的log4j，需要使用maven-shade-plugin將log4j相關的class relocation掉。

    • RPC調用異常。

      Flink的Akka RPC調用出現依賴衝突可能導致的異常，預設不會顯示在日誌中，需要開啟Debug日誌進行確認。

      例如，Debug日誌中出現Cannot allocate the requested resources. Trying to allocate ResourceProfile{xxx}，但是JM日誌在Registering TaskManager with ResourceID xxx後，沒有下文，直到資源請求逾時報錯NoResourceAvailableException。此外TM持續報錯Cannot allocate the requested resources. Trying to allocate ResourceProfile{xxx}。

      原因：開啟Debug日誌後，發現RPC調用報錯InvocationTargetException，該報錯導致TM Slot分配到一半失敗出現狀態不一致，RM持續嘗試分配Slot失敗無法恢複。

• 問題原因

  • 作業JAR包中包含了不必要的依賴（例如基本配置、Flink、Hadoop和log4j依賴），造成依賴衝突從而引發各種問題。

  • 作業需要的Connector對應的依賴未被打入JAR包中。

• 排查方法

  • 查看作業pom.xml檔案，判斷是否存在不必要的依賴。

  • 通過jar tf foo.jar命令查看作業JAR包內容，判斷是否存在引發依賴衝突的內容。

  • 通過mvn dependency:tree命令查看作業的依賴關係，判斷是否存在衝突的依賴。

• 解決方案

  • 基本配置建議將scope全部設定為provided，即不打入作業JAR包。

    • DataStream Java

      <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-java_2.11</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
      </dependency>

    • DataStream Scala

      <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-scala_2.11</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
      </dependency>

    • DataSet Java

      <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-java</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
      </dependency>

    • DataSet Scala

      <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-scala_2.11</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
      </dependency>

  • 添加作業需要的Connector對應的依賴，並將scope全部設定為compile（預設的scope是compile），即打入作業JAR包中，以Kafka Connector為例，代碼如下。

    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-kafka_2.11</artifactId>
        <version>${flink.version}</version>
    </dependency>

  • 其他Flink、Hadoop和log4j依賴不建議添加。但是：

    • 如果作業本身存在基本配置或Connector相關的直接依賴，建議將scope設定為provided，樣本如下。

      <dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-common</artifactId>
          <scope>provided</scope>
      </dependency>

    • 如果作業存在基本配置或Connector相關的間接依賴，建議通過exclusion將依賴去掉，樣本如下。

      <dependency>
          <groupId>foo</groupId>
            <artifactId>bar</artifactId>
            <exclusions>
              <exclusion>
              <groupId>org.apache.hadoop</groupId>
              <artifactId>hadoop-common</artifactId>
             </exclusion>
          </exclusions>
      </dependency>

如何解析Flink作業所依賴服務的網域名稱？