云原生大数据计算服务 MaxCompute：网络开通流程

免责声明

功能介绍

前提条件

地域支持情况

访问公网方案

通过项目管理编辑外部网络地址

提交申请

SQL自定义函数（UDF）任务

• 参数设置如下：

  --设置网络连接申请表单中配置的公网IP或域名、端口。即下方SQL语句要访问的公网IP或域名。
  --如果需要访问多个域名或端口，请使用英文逗号（,）分隔
  set odps.internet.access.list=<ip_address:port|realm_name:port>;
  --执行SQL语句调用UDF。
  select <UDF_name>("<http://ip_address|realm_name>");

• ip_address:port | realm_name:port：必填。目标公网IP或域名、端口。

• UDF_name：访问公网IP或域名的UDF。

• 任务示例代码如下：

  package com.aliyun.odps.test.udf;
  import com.aliyun.odps.udf.UDF;
  import java.io.BufferedReader;
  import java.io.IOException;
  import java.io.InputStreamReader;
  import java.net.URL;
  public class <UDF_name> extends UDF {
      public String evaluate(String urlStr) throws IOException {
          URL url = new URL(urlStr);
          StringBuilder sb = new StringBuilder();
          try (BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream()))) {
              String line;
              while ((line = reader.readLine()) != null) {
                  sb.append(line).append('\n');
              }
          }
          return sb.toString();
      }
  }

• 执行：基于UDF示例代码创建的自定义函数名称为url_fetch，网络连接审核通过后，执行命令示例如下。

  set odps.internet.access.list=www.aliyun.com:80;
  select url_fetch("http://www.aliyun.com");

Spark on MaxCompute任务

spark.hadoop.odps.cupid.smartnat.enable = true;
spark.hadoop.odps.cupid.internet.access.list=<ip_address:port>

白名单

如果用户服务端有访问控制，需要将MaxCompute访问公网方案的出口IP添加到用户服务白名单，出口IP请提交工单申请获取。

访问VPC方案（专线直连）

1. 开通专线网络连接

   操作流程

   1. 授权操作：

      • 需要针对登录用户授予能够创建网络连接对象Networklink（详情请参见Networklink），授权的用户需要是项目所有者（Project Owner），以及具备租户级别的Super_Administrator或Admin角色的用户（详情请参见角色规划），授权过程可参见租户内对象权限一览表。

      • 对MaxCompute进行授权：授权的目的在于允许MaxCompute在VPC内创建ENI网卡，以实现MaxCompute到用户VPC的连通。用户只要在阿里云账号登录态下单击授权即可。

        说明

        MaxCompute访问VPC时的计费规则请参考功能计费。

   2. 配置安全组规则：在VPC实例下，创建独立安全组用于控制MaxCompute对VPC网络内的各种资源的访问权限。

      1. 登录专有网络管理控制台，单击目标VPC实例ID后，单击资源管理页签。

      2. 在资源管理页签的专有网络资源区域，将鼠标悬停至安全组数值上方后，单击添加（注意：选择安全组为普通安全组，不是企业安全组。普通安全组的出口是默认开启的。企业安全组的出口是默认关闭的，会导致无法访问VPC内的任何服务）为MaxCompute创建独立安全组并记录安全组ID。需要选择与连通服务相同的VPC网络。更多创建安全组操作，请参见创建安全组。

         • 添加安全组：

         • 配置安全组：

      说明

      MaxCompute在后续的创建网络通路过程中会默认自动根据带宽需求创建2个ENI，不收取费用，由MaxCompute创建的ENI将位于这个安全组内。在HBase场景，如果用户的HBase无法对某个安全组开放网络权限，您可以将MaxCompute创建的ENI IP添加至白名单即可。由于ENI IP可能会发生变化，推荐您添加VPC实例对应交换机的IP网段至白名单。您可以登录ECS管理控制台，在左侧导航栏，单击弹性网卡，获取ENI IP。

   3. 创建MaxCompute与目标VPC网络间的网络连接。

      阿里云账号（主账号）或拥有MaxCompute租户级别的Super_Administrator或Admin角色的RAM子账号（详情请参见MaxCompute租户级别角色），可以在MaxCompute控制台创建MaxCompute与VPC网络之间的连接。操作如下：

      1. 登录MaxCompute控制台。

      2. 在MaxCompute控制台的左侧导航栏单击租户管理 > 网络连接 > 新增网络连接。

      3. 在新增网络连接对话框中，按下表填写参数后单击确定。

         参数名称	说明
         连接名称	自定义网络链接名称。格式如下： 字母开头。 只能包含字母、下划线（_）和数字。 长度在1-63个字符。
         类型	网络连接类型。默认为直通链接（passthrough）。 说明 直通链接对应的即是专有网络连接方案。
         区域	MaxCompute支持的通过专有网络连接方案开通网络连接的地域。详情请参见开通地域。
         已选择VPC	VPC实例ID。 获取方式如下： 连接HBase、Hadoop集群时：您可以在对应控制台的网络连接信息处获取该信息。 其他情况：登录专有网络管理控制台，在专有网络页面即可获取VPC ID。
         交换机	VPC网络绑定的交换机ID。 获取方式如下： 连接HBase、Hadoop集群时：您可以在对应控制台的网络连接信息处获取该信息。 其他情况：登录专有网络管理控制台，在左侧导航栏单击交换机，即可在右侧通过VPC实例ID获取到交换机ID。
         安全组	步骤【开通专线网络连接】中记录的安全组ID。

   4. 配置目标服务的安全组。

      在完成ENI专线开通后，用户还需要在待访问的服务中增加相关安全规则，授权代表MaxCompute的安全组，即就上述第二步中提供的安全组能访问哪些服务的具体端口。例如9200、31000等。例如，用户需要访问阿里云RDS，则需要在RDS中增加规则，允许第二步中创建的安全组访问。如果用户需要访问的服务无法添加安全组，只能添加IP，那么需要将目标服务所在vSwitch网段都添加进来。

      • 配置Hadoop集群安全组。

        • 为Hadoop集群的安全组配置如下信息，确保MaxCompute可以访问Hadoop集群。安全组配置内容如下：

          • 配置Hadoop集群所在安全组的入方向访问规则。

          • 授权对象为ENI所在的安全组，即步骤2中创建的安全组。

          • HiveMetaStore端口：9083。

          • HDFS NameNode端口：8020。

          • HDFS DataNode端口：50010。

        • 例如，当您连接在阿里云E-MapReduce上创建的Hadoop集群时，您需要配置的安全组规则如下图所示。更多配置操作，请参见创建安全组。

      • 配置HBase集群安全组。

        • 将为MaxCompute创建的安全组或ENI IP加入HBase集群的安全组或IP白名单中。

        • 例如，当您连接阿里云HBase集群时，可以登录HBase管理控制台，在集群列表页面单击目标集群名称后，在左侧导航栏单击访问控制，即可在安全组或白名单设置页签添加安全组或IP白名单。更多添加安全组或IP白名单操作，请参见设置白名单和安全组。

          说明

          如果不允许添加安全组，您可以在白名单设置页签添加MaxCompute创建的ENI IP。当MaxCompute配置变更时，ENI IP可能会发生变化，推荐您添加交换机ID的IP网段添加至白名单。

      • 配置RDS安全组。

        • 将为MaxCompute创建的安全组或ENI IP加入RDS安全组或IP白名单中。

        • 例如，当您连接阿里云RDS时，可以登录RDS管理控制台，在实例列表页面单击目标实例名称后，在左侧导航栏单击白名单与安全组，即可在安全组或白名单设置页签添加安全组或IP白名单。更多添加安全组或IP白名单设置操作，请参见设置安全组或设置IP白名单。

        说明

        当MaxCompute配置变更时，ENI IP可能会发生变化，推荐您将交换机ID的IP网段添加至白名单。

2. SQL任务

   添加配置项

   • UDF访问VPC网络（详情请参见：通过UDF访问VPC网络资源）。代码如下：

     --设置网络连接名称，即基于专有网络连接方案配置的网连接名称，仅本Session有效：
     set odps.session.networklink=testLink;

   • 外部表访问VPC网络。代码如下：

     -- 在建表语句中设置参数
      TBLPROPERTIES(
     'networklink'='<networklink_name>')

   • 湖仓一体配置Networklink（详情请参见：MaxCompute湖仓一体概述）。

3. Spark on MaxCompute 任务

   • 完成上述【开通专线网络连接】操作后，可添加以下配置。

   • 运行Spark作业，需要增加如下配置，即可使用ENI专线连通目标VPC内的服务（详情请参见：Spark访问VPC实例）。

     • spark.hadoop.odps.cupid.eni.enable = true

     • spark.hadoop.odps.cupid.eni.info=regionid:vpc id

4. 白名单

   如果用户服务端有访问控制，需要将创建专线网络连接的安全组添加进服务端白名单。

访问部分阿里云服务

适用于通过MaxCompute SQL、UDF、Spark 、MR、PyODPS/Mars、外部表或基于湖仓一体架构访问阿里云OSS、DLF、OTS（Tablestore）、Hologres等服务的场景，连接使用阿里云内部服务提供的云产品互联网络地址。

通过外部表访问OSS、OTS

通过UDF访问OSS、OTS

常见问题

并发量过大导致DNS解析失败

• 问题描述：UDF或Spark任务在运行过程中，产生了大量的并发请求以访问对端域名，导致DNS解析失败。

• 解决方案：建议您在任务的初始化阶段将域名解析为IP地址，并在执行阶段使用解析得到的IP地址进行访问。示例如下：

  # -*- coding:UTF-8 -*-
  from odps.udf import annotate
  
  @annotate("string->string")
  class test_udf(object):
      __ip_address = ''
  
      def evaluate(self, inputPath):
          import requests
          output = 'false'
          retries = 3
          print(self.__ip_address)
          url = f"http://{self.__ip_address}/{inputPath}"
          print(url)
          for i in range(retries):
              try:
                  response = requests.get(url)
                  if response.status_code == 200:
                      output = 'true'
                  else:
                      raise
              except Exception as e:
                  if i < retries:
                      print('connect retry：' + str(i + 1))
                      print('error: ' + e.message)
                      continue
                  else:
                      raise
              break
  
          return output
  
      def __init__(self):
          import socket
          retries = 3
          for i in range(retries):
              try:
                  self.__ip_address = socket.gethostbyname("xxx-vpc.cn-shanghai.aliyuncs.com")
                  print(self.__ip_address)
              except socket.gaierror as e:
                  print('Failed to resolv domain' + e.strerror)
                  if i < retries:
                      print('resolv domain retry：' + str(i + 1))
                      continue
                  else:
                      raise
              break