实时计算Flink版：操作指导

如何在OSS控制台上传资源文件？

1. 在实时计算管理控制台上查看当前工作空间绑定的OSS Bucket信息。

   

   OSS Bucket信息如下图所示。

2. 登录OSS管理控制台，上传资源文件至目标Bucket的/artifacts/namespaces目录下。

3. 在实时计算开发控制台左侧导航栏，单击文件管理，查看通过OSS控制台上传的资源文件。

   

如何配置作业运行参数？

1. 登录实时计算控制台。

2. 单击目标工作空间操作列下的控制台。

3. 在运维中心 > 作业运维页面，单击目标作业名称。

4. 在部署详情页签，单击运行参数配置区域右侧编辑。

5. 在其他配置项中，配置代码信息。代码示例如下。

   请确保键值对之间冒号后存在一个空格。

   task.cancellation.timeout: 180s

6. 单击保存。

如何开启GC日志？

env.java.opts:>--XX: +PrintGCDetails-XX:+PrintGCDateStamps-Xloggc:/flink/log/gc.log-XX:+UseGCLogFileRotation-XX:NumberOfGCLogFiles=2-XX:GCLogFileSize=50M

如何查找引发告警的作业？

如何查看工作空间ID等信息？

如何查看AccessKey ID和AccessKey Secret信息？

如何查看当前作业的Flink版本？

如何关闭系统自动开通的Prometheus监控服务？

如果您不再需要对实时计算Flink版进行监控，您可以按照如下步骤卸载Prometheus监控服务：

1. 登录Prometheus控制台。

2. 在左侧导航栏单击实例列表，进入可观测监控Prometheus版的实例列表页面。

3. 在标签筛选下拉列表中，选择目标工作空间的ID或名称。

4. 单击实例类型为Prometheus for Flink Serverless的实例对应操作列的卸载。

5. 在弹出的对话框中，单击确认。

如何设置白名单？

登录实时计算控制台提示当前账号缺少权限

• 问题详情

  登录实时计算控制台时提示：权限不足无法完成本次操作，需要操作描述符[stream:DescribeVvpInstances]和资源描述符[acs:stream:cn-beijing:1418886*********:vvpinstance/*]，请联系主账号管理员。

  

• 问题原因

  当前登录身份缺少查看Flink工作空间的权限，或仅具有某个资源组的权限。

• 解决方法

  • 如果您仅具有某个资源组权限，请在控制台上方选择对应资源组，并选择对应地域查看目标工作空间。

    

  • 如果当前身份未被授权，参考RAM授权操作为对应RAM用户或角色添加具有查看Flink工作空间操作的权限策略。

    以下权限策略包含了查看Flink工作空间的权限，您选择添加以下任意一个即可。

    • 系统策略：AliyunStreamReadOnlyAccess（只读访问流计算服务）或AliyunStreamFullAccess（流计算服务所有权限），详情请参见系统权限策略。

    • 自定义策略：stream:DescribeVvpInstances（查看工作空间），详情请参见自定义权限策略。

实时计算Flink版如何访问公网？

• 背景说明

  实时计算Flink版默认不具备访问公网的能力，但阿里云提供的NAT网关可以实现VPC网络与公网网络互通，以满足部分实时计算Flink版用户通过UDX或Datastream代码访问公网的需求。

• 解决方案

  通过在VPC中创建NAT网关，并创建SNAT条目，将实时计算Flink版所在的交换机绑定至弹性公网IP（EIP），即可通过EIP访问公网。具体配置方法请参见：

  1. 创建NAT网关，详情请参见创建NAT网关。

  2. 创建交换机粒度的SNAT条目并绑定弹性公网IP，详情请参见创建SNAT条目。

如何访问跨VPC的其他服务？

如何在Flink开发页面进行网络探测？

Flink支持网络探测能力，您可以在Flink开发控制台进行网络探测，具体步骤如下：

1. 登录实时计算控制台。

2. 单击目标工作空间操作列下的控制台。

3. 单击页面上方的探测图标。

   

4. 通过输入Endpoint或者IP地址的方式检测Flink作业运行的环境与您的上下游系统是否联通。

   重要

   输入Endpoint时，请删除后面的:<port>，并将<port>放到网络探测的Port栏输入。

   

如何解决Flink依赖冲突问题？

• 问题现象

  • 有明显报错，且引发错误的为Flink或Hadoop相关类。

    java.lang.AbstractMethodError
    java.lang.ClassNotFoundException
    java.lang.IllegalAccessError
    java.lang.IllegalAccessException
    java.lang.InstantiationError
    java.lang.InstantiationException
    java.lang.InvocationTargetException
    java.lang.NoClassDefFoundError
    java.lang.NoSuchFieldError
    java.lang.NoSuchFieldException
    java.lang.NoSuchMethodError
    java.lang.NoSuchMethodException

  • 无明显报错，但会引起一些不符合预期的现象，例如：

    • 日志不输出或log4j配置不生效。

      该类问题通常是由于依赖中携带了log4j相关配置导致的。需要排查作业JAR包中是否引入了log4j配置的依赖，可以通过在dependency中配置exclusions的方式去掉log4j配置。

      说明

      如果必须要使用不同版本的log4j，需要使用maven-shade-plugin将log4j相关的class relocation掉。

    • RPC调用异常。

      Flink的Akka RPC调用出现依赖冲突可能导致的异常，默认不会显示在日志中，需要开启Debug日志进行确认。

      例如，Debug日志中出现Cannot allocate the requested resources. Trying to allocate ResourceProfile{xxx}，但是JM日志在Registering TaskManager with ResourceID xxx后，没有下文，直到资源请求超时报错NoResourceAvailableException。此外TM持续报错Cannot allocate the requested resources. Trying to allocate ResourceProfile{xxx}。

      原因：开启Debug日志后，发现RPC调用报错InvocationTargetException，该报错导致TM Slot分配到一半失败出现状态不一致，RM持续尝试分配Slot失败无法恢复。

• 问题原因

  • 作业JAR包中包含了不必要的依赖（例如基本配置、Flink、Hadoop和log4j依赖），造成依赖冲突从而引发各种问题。

  • 作业需要的Connector对应的依赖未被打入JAR包中。

• 排查方法

  • 查看作业pom.xml文件，判断是否存在不必要的依赖。

  • 通过jar tf foo.jar命令查看作业JAR包内容，判断是否存在引发依赖冲突的内容。

  • 通过mvn dependency:tree命令查看作业的依赖关系，判断是否存在冲突的依赖。

• 解决方案

  • 基本配置建议将scope全部设置为provided，即不打入作业JAR包。

    • DataStream Java

      <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-java_2.11</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
      </dependency>

    • DataStream Scala

      <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-scala_2.11</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
      </dependency>

    • DataSet Java

      <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-java</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
      </dependency>

    • DataSet Scala

      <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-scala_2.11</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
      </dependency>

  • 添加作业需要的Connector对应的依赖，并将scope全部设置为compile（默认的scope是compile），即打入作业JAR包中，以Kafka Connector为例，代码如下。

    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-kafka_2.11</artifactId>
        <version>${flink.version}</version>
    </dependency>

  • 其他Flink、Hadoop和log4j依赖不建议添加。但是：

    • 如果作业本身存在基本配置或Connector相关的直接依赖，建议将scope设置为provided，示例如下。

      <dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-common</artifactId>
          <scope>provided</scope>
      </dependency>

    • 如果作业存在基本配置或Connector相关的间接依赖，建议通过exclusion将依赖去掉，示例如下。

      <dependency>
          <groupId>foo</groupId>
            <artifactId>bar</artifactId>
            <exclusions>
              <exclusion>
              <groupId>org.apache.hadoop</groupId>
              <artifactId>hadoop-common</artifactId>
             </exclusion>
          </exclusions>
      </dependency>

如何解析Flink作业所依赖服务的域名？