MaxCompute：網路開通流程

SQL自訂函數（UDF）任務

• 參數設定如下：

  --設定網路連接申請表單中配置的公網IP或網域名稱、連接埠。即下方SQL語句要訪問的公網IP或網域名稱。
  --如果需要訪問多個網域名稱或連接埠，請使用英文逗號（,）分隔
  SET odps.internet.access.list=<ip_address:port|realm_name:port>;
  --執行SQL語句調用UDF。
  SELECT <UDF_name>("<http://ip_address|realm_name>");

• ip_address:port | realm_name:port：必填。目標公網IP或網域名稱、連接埠。

• UDF_name：訪問公網IP或網域名稱的UDF。

• 任務範例程式碼如下：

  package com.aliyun.odps.test.udf;
  import com.aliyun.odps.udf.UDF;
  import java.io.BufferedReader;
  import java.io.IOException;
  import java.io.InputStreamReader;
  import java.net.URL;
  public class <UDF_name> extends UDF {
      public String evaluate(String urlStr) throws IOException {
          URL url = new URL(urlStr);
          StringBuilder sb = new StringBuilder();
          try (BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream()))) {
              String line;
              while ((line = reader.readLine()) != null) {
                  sb.append(line).append('\n');
              }
          }
          return sb.toString();
      }
  }

• 執行：基於UDF範例程式碼建立的自訂函數名稱為url_fetch，網路連接審核通過後，執行命令樣本如下。

  SET odps.internet.access.list=www.aliyun.com:80;
  SELECT url_fetch("http://www.aliyun.com");

Spark on MaxCompute任務

參數設定：此配置項需加在Spark用戶端的conf檔案中或DataWorks提交Spark作業時的配置項中。

spark.hadoop.odps.cupid.smartnat.enable = true;
spark.hadoop.odps.cupid.internet.access.list=<ip_address:port>

第1步：授權操作

• 對操作使用者進行授權：需要針對登入使用者，授予能夠建立網路連接對象的許可權（詳情請參見Networklink）。授權的使用者需要是專案所有者（Project Owner），或具備租戶層級的Super_Administrator或Admin角色的使用者（詳情請參見角色規劃）。授權過程可參見租戶內對象許可權一覽表。

• 對MaxCompute進行授權：授權的目的在於允許MaxCompute在VPC內建立ENI網卡，以實現MaxCompute到使用者VPC的連通。使用者只要在阿里雲帳號登入態下單擊授權即可。

  說明

  MaxCompute訪問VPC時的計費規則請參考VPC對等串連。

第2步：配置安全性群組規則

在VPC執行個體下，建立獨立安全性群組用於控制MaxCompute對VPC網路內的各種資源的存取權限。

1. 登入專用網路管理主控台，單擊目標VPC執行個體ID後，單擊資源管理頁簽。

2. 在資源管理頁簽的專用網路資源地區，將滑鼠移至上方至安全性群組數值上方後，單擊添加（注意：選擇安全性群組為普通安全性群組，不是企業安全性群組。普通安全性群組的出口是預設開啟的。企業安全性群組的出口是預設關閉的，會導致無法訪問VPC內的任何服務），為MaxCompute建立獨立安全性群組並記錄安全性群組ID。需要選擇與連通服務相同的VPC網路。更多建立安全性群組操作，請參見建立安全性群組。

   • 添加安全性群組：

   • 配置安全性群組：配置方法請參見安全性群組應用案例

第3步：建立MaxCompute與目標VPC網路間的網路連接

阿里雲帳號（主帳號）或擁有MaxCompute租戶層級的Super_Administrator或Admin角色的RAM子帳號（詳情請參見MaxCompute租戶層級角色），可以在MaxCompute控制台建立MaxCompute與VPC網路之間的串連。操作如下：

1. 登入MaxCompute控制台。

2. 在MaxCompute控制台的左側導覽列單擊租戶管理 > 網路連接 > 新增網路連接。

3. 在新增網路連接對話方塊中，按下表填寫參數後單擊確定。

   參數名稱	說明
   串連名稱	自訂網路連結名稱。格式如下： 字母開頭。 只能包含字母、底線（_）和數字。 長度在1-63個字元。
   類型	網路連接類型。預設為直通串連（passthrough）。 說明 直通串連對應的即是專用網路串連方案。
   地區	MaxCompute支援的通過專用網路串連方案開通網路連接的地區。詳情請參見開通地區。
   已選擇VPC	VPC執行個體ID。 擷取方式如下： 串連HBase、Hadoop叢集時：您可以在對應控制台的網路連接資訊處擷取該資訊。 其他情況：登入專用網路管理主控台，在專用網路頁面即可擷取VPC ID。
   交換器	VPC網路綁定的交換器ID。 擷取方式如下： 串連HBase、Hadoop叢集時：您可以在對應控制台的網路連接資訊處擷取該資訊。 其他情況：登入專用網路管理主控台，在左側導覽列單擊交換器，即可在右側通過VPC執行個體ID擷取到交換器ID。
   安全性群組	步驟【開通專線網路連接】中記錄的安全性群組ID。

第4步：配置目標服務的安全性群組

在完成上述操作（即ENI專線開通）後，使用者還需要在待訪問的服務中增加相關安全規則，授權代表MaxCompute的安全性群組，即上述第2步中提供的安全性群組能訪問哪些服務的具體連接埠（例如9200、31000等）。

例如，使用者需要訪問阿里雲RDS，則需要在RDS中增加規則，允許第2步中建立的安全性群組訪問。如果使用者需要訪問的服務無法添加安全性群組，只能添加IP，那麼需要將目標服務所在vSwitch網段都添加進來。

• 配置Hadoop叢集安全性群組。

  • 為Hadoop叢集的安全性群組配置如下資訊，確保MaxCompute可以訪問Hadoop叢集。安全性群組配置內容如下：

    • 配置Hadoop叢集所在安全性群組的入方向訪問規則。

    • 授權對象為ENI所在的安全性群組，即步驟2中建立的安全性群組。

    • HiveMetaStore連接埠：9083。

    • HDFS NameNode連接埠：8020。

    • HDFS DataNode連接埠：50010。

  • 例如，當您串連在阿里雲E-MapReduce上建立的Hadoop叢集時，您需要配置的安全性群組規則如下圖所示。更多配置操作，請參見建立安全性群組。

• 配置HBase叢集安全性群組。

  • 將為MaxCompute建立的安全性群組或ENI IP加入HBase叢集的安全性群組或IP白名單中。

  • 例如，當您串連阿里雲HBase叢集時，可以登入HBase管理主控台，在叢集列表頁面單擊目的地組群名稱後，在左側導覽列單擊存取控制，即可在安全性群組或白名單設定頁簽添加安全性群組或IP白名單。更多添加安全性群組或IP白名單操作，請參見設定白名單和安全性群組。

    說明

    如果不允許添加安全性群組，您可以在白名單設定頁簽添加MaxCompute建立的ENI IP。當MaxCompute配置變更時，ENI IP可能會發生變化，推薦您添加交換器ID的IP網段添加至白名單。

• 配置RDS安全性群組。

  • 將為MaxCompute建立的安全性群組或ENI IP加入RDS安全性群組或IP白名單中。

  • 例如，當您串連阿里雲RDS時，可以登入RDS管理主控台，在執行個體列表頁面單擊目標執行個體名稱後，在左側導覽列單擊白名單與安全性群組，即可在安全性群組或白名單設定頁簽添加安全性群組或IP白名單。更多添加安全性群組或IP白名單設定作業，請參見設定安全性群組或設定IP白名單。

  說明

  當MaxCompute配置變更時，ENI IP可能會發生變化，推薦您將交換器ID的IP網段添加至白名單。

使用SQL訪問VPC網路

• UDF訪問VPC網路（詳情請參見：通過UDF訪問VPC網路資源）。代碼如下：

  --設定網路連接名稱，即基於專用網路串連方案配置的網串連名稱，僅本Session有效：
  SET odps.session.networklink=testLink;

• 外部表格訪問VPC網路。代碼如下：

  -- 在建表語句中設定參數
   TBLPROPERTIES(
  'networklink'='<networklink_name>')

• 湖倉一體配置Networklink（詳情請參見：MaxCompute湖倉一體概述）。

使用Spark訪問VPC網路

運行Spark作業，需要增加如下配置，即可使用ENI專線連通目標VPC內的服務（詳情請參見：Spark訪問VPC執行個體）。

• spark.hadoop.odps.cupid.eni.enable = true

• spark.hadoop.odps.cupid.eni.info=regionid:vpc id