MaxCompute：網路開通流程

免責聲明

功能介紹

前提條件

地區支援情況

訪問公網方案

通過專案管理編輯外部網路地址

提交申請

SQL自訂函數（UDF）任務

• 參數設定如下：

  --設定網路連接申請表單中配置的公網IP或網域名稱、連接埠。即下方SQL語句要訪問的公網IP或網域名稱。
  --如果需要訪問多個網域名稱或連接埠，請使用英文逗號（,）分隔
  set odps.internet.access.list=<ip_address:port|realm_name:port>;
  --執行SQL語句調用UDF。
  select <UDF_name>("<http://ip_address|realm_name>");

• ip_address:port | realm_name:port：必填。目標公網IP或網域名稱、連接埠。

• UDF_name：訪問公網IP或網域名稱的UDF。

• 任務範例程式碼如下：

  package com.aliyun.odps.test.udf;
  import com.aliyun.odps.udf.UDF;
  import java.io.BufferedReader;
  import java.io.IOException;
  import java.io.InputStreamReader;
  import java.net.URL;
  public class <UDF_name> extends UDF {
      public String evaluate(String urlStr) throws IOException {
          URL url = new URL(urlStr);
          StringBuilder sb = new StringBuilder();
          try (BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream()))) {
              String line;
              while ((line = reader.readLine()) != null) {
                  sb.append(line).append('\n');
              }
          }
          return sb.toString();
      }
  }

• 執行：基於UDF範例程式碼建立的自訂函數名稱為url_fetch，網路連接審核通過後，執行命令樣本如下。

  set odps.internet.access.list=www.aliyun.com:80;
  select url_fetch("http://www.aliyun.com");

Spark on MaxCompute任務

spark.hadoop.odps.cupid.smartnat.enable = true;
spark.hadoop.odps.cupid.internet.access.list=<ip_address:port>

白名單

如果使用者服務端有存取控制，需要將MaxCompute訪問公網方案的出口IP添加到使用者服務白名單，出口IP請提交工單申請擷取。

訪問VPC方案（專線直連）

1. 開通專線網路連接

   操作流程

   1. 授權操作：

      • 需要針對登入使用者授予能夠建立網路連接對象Networklink（詳情請參見Networklink），授權的使用者需要是專案所有者（Project Owner），以及具備租戶層級的Super_Administrator或Admin角色的使用者（詳情請參見角色規劃），授權過程可參見租戶內對象許可權一覽表。

      • 對MaxCompute進行授權：授權的目的在於允許MaxCompute在VPC內建立ENI網卡，以實現MaxCompute到使用者VPC的連通。使用者只要在阿里雲帳號登入態下單擊授權即可。

        說明

        MaxCompute訪問VPC時的計費規則請參考功能計費。

   2. 配置安全性群組規則：在VPC執行個體下，建立獨立安全性群組用於控制MaxCompute對VPC網路內的各種資源的存取權限。

      1. 登入專用網路管理主控台，單擊目標VPC執行個體ID後，單擊資源管理頁簽。

      2. 在資源管理頁簽的專用網路資源地區，將滑鼠移至上方至安全性群組數值上方後，單擊添加（注意：選擇安全性群組為普通安全性群組，不是企業安全性群組。普通安全性群組的出口是預設開啟的。企業安全性群組的出口是預設關閉的，會導致無法訪問VPC內的任何服務）為MaxCompute建立獨立安全性群組並記錄安全性群組ID。需要選擇與連通服務相同的VPC網路。更多建立安全性群組操作，請參見建立安全性群組。

         • 添加安全性群組：

         • 配置安全性群組：

      說明

      MaxCompute在後續的建立網路通路過程中會預設自動根據頻寬需求建立2個ENI，不收取費用，由MaxCompute建立的ENI將位於這個安全性群組內。在HBase情境，如果使用者的HBase無法對某個安全性群組開放網路許可權，您可以將MaxCompute建立的ENI IP添加至白名單即可。由於ENI IP可能會發生變化，推薦您添加VPC執行個體對應交換器的IP網段至白名單。您可以登入ECS管理主控台，在左側導覽列，單擊彈性網卡，擷取ENI IP。

   3. 建立MaxCompute與目標VPC網路間的網路連接。

      阿里雲帳號（主帳號）或擁有MaxCompute租戶層級的Super_Administrator或Admin角色的RAM子帳號（詳情請參見MaxCompute租戶層級角色），可以在MaxCompute控制台建立MaxCompute與VPC網路之間的串連。操作如下：

      1. 登入MaxCompute控制台。

      2. 在MaxCompute控制台的左側導覽列單擊租戶管理 > 網路連接 > 新增網路連接。

      3. 在新增網路連接對話方塊中，按下表填寫參數後單擊確定。

         參數名稱	說明
         串連名稱	自訂網路連結名稱。格式如下： 字母開頭。 只能包含字母、底線（_）和數字。 長度在1-63個字元。
         類型	網路連接類型。預設為直通連結（passthrough）。 說明 直通連結對應的即是專用網路串連方案。
         地區	MaxCompute支援的通過專用網路串連方案開通網路連接的地區。詳情請參見開通地區。
         已選擇VPC	VPC執行個體ID。 擷取方式如下： 串連HBase、Hadoop叢集時：您可以在對應控制台的網路連接資訊處擷取該資訊。 其他情況：登入專用網路管理主控台，在專用網路頁面即可擷取VPC ID。
         交換器	VPC網路綁定的交換器ID。 擷取方式如下： 串連HBase、Hadoop叢集時：您可以在對應控制台的網路連接資訊處擷取該資訊。 其他情況：登入專用網路管理主控台，在左側導覽列單擊交換器，即可在右側通過VPC執行個體ID擷取到交換器ID。
         安全性群組	步驟【開通專線網路連接】中記錄的安全性群組ID。

   4. 配置目標服務的安全性群組。

      在完成ENI專線開通後，使用者還需要在待訪問的服務中增加相關安全規則，授權代表MaxCompute的安全性群組，即就上述第二步中提供的安全性群組能訪問哪些服務的具體連接埠。例如9200、31000等。例如，使用者需要訪問阿里雲RDS，則需要在RDS中增加規則，允許第二步中建立的安全性群組訪問。如果使用者需要訪問的服務無法添加安全性群組，只能添加IP，那麼需要將目標服務所在vSwitch網段都添加進來。

      • 配置Hadoop叢集安全性群組。

        • 為Hadoop叢集的安全性群組配置如下資訊，確保MaxCompute可以訪問Hadoop叢集。安全性群組配置內容如下：

          • 配置Hadoop叢集所在安全性群組的入方向訪問規則。

          • 授權對象為ENI所在的安全性群組，即步驟2中建立的安全性群組。

          • HiveMetaStore連接埠：9083。

          • HDFS NameNode連接埠：8020。

          • HDFS DataNode連接埠：50010。

        • 例如，當您串連在阿里雲E-MapReduce上建立的Hadoop叢集時，您需要配置的安全性群組規則如下圖所示。更多配置操作，請參見建立安全性群組。

      • 配置HBase叢集安全性群組。

        • 將為MaxCompute建立的安全性群組或ENI IP加入HBase叢集的安全性群組或IP白名單中。

        • 例如，當您串連阿里雲HBase叢集時，可以登入HBase管理主控台，在叢集列表頁面單擊目的地組群名稱後，在左側導覽列單擊存取控制，即可在安全性群組或白名單設定頁簽添加安全性群組或IP白名單。更多添加安全性群組或IP白名單操作，請參見設定白名單和安全性群組。

          說明

          如果不允許添加安全性群組，您可以在白名單設定頁簽添加MaxCompute建立的ENI IP。當MaxCompute配置變更時，ENI IP可能會發生變化，推薦您添加交換器ID的IP網段添加至白名單。

      • 配置RDS安全性群組。

        • 將為MaxCompute建立的安全性群組或ENI IP加入RDS安全性群組或IP白名單中。

        • 例如，當您串連阿里雲RDS時，可以登入RDS管理主控台，在執行個體列表頁面單擊目標執行個體名稱後，在左側導覽列單擊白名單與安全性群組，即可在安全性群組或白名單設定頁簽添加安全性群組或IP白名單。更多添加安全性群組或IP白名單設定作業，請參見設定安全性群組或設定IP白名單。

        說明

        當MaxCompute配置變更時，ENI IP可能會發生變化，推薦您將交換器ID的IP網段添加至白名單。

2. SQL任務

   添加配置項

   • UDF訪問VPC網路（詳情請參見：通過UDF訪問VPC網路資源）。代碼如下：

     --設定網路連接名稱，即基於專用網路串連方案配置的網串連名稱，僅本Session有效：
     set odps.session.networklink=testLink;

   • 外部表格訪問VPC網路。代碼如下：

     -- 在建表語句中設定參數
      TBLPROPERTIES(
     'networklink'='<networklink_name>')

   • 湖倉一體配置Networklink（詳情請參見：MaxCompute湖倉一體概述）。

3. Spark on MaxCompute 任務

   • 完成上述【開通專線網路連接】操作後，可添加以下配置。

   • 運行Spark作業，需要增加如下配置，即可使用ENI專線連通目標VPC內的服務（詳情請參見：Spark訪問VPC執行個體）。

     • spark.hadoop.odps.cupid.eni.enable = true

     • spark.hadoop.odps.cupid.eni.info=regionid:vpc id

4. 白名單

   如果使用者服務端有存取控制，需要將建立專線網路連接的安全性群組添加進服務端白名單。

訪問部分阿里雲服務

適用於通過MaxCompute SQL、UDF、Spark 、MR、PyODPS/Mars、外部表格或基於湖倉一體架構訪阿里雲OSS、DLF、OTS（Tablestore）、Hologres等服務的情境，串連使用阿里雲內部服務提供的雲產品互連網絡地址。

通過外部表格訪問OSS、OTS

通過UDF訪問OSS、OTS