E-MapReduce：ECS應用角色（EMR 3.32及之前版本和EMR 4.5及之前版本）

前提條件

已授權該角色，詳情請參見阿里雲帳號角色授權。

背景資訊

當前MetaService服務僅支援免AccessKey訪問OSS、LogService和MNS資料。

許可權內容

支援MetaService的資料來源

目前在E-MapReduce上支援MetaService的產品有OSS、LogService和MNS。您可以在E-MapReduce叢集上使用E-MapReduce SDK介面免AccessKey讀寫上述資料來源。

MetaService預設只有OSS的讀寫權限，如果您希望MetaService支援LogService和MNS，請前往RAM控制台為AliyunEmrEcsDefaultRole應用角色增加LogService和MNS的讀寫權限，RAM控制台連結為RAM控制台。

RAM角色授權，詳情請參見為RAM角色授權。

使用MetaService

• EMR內建服務

  EMR內建服務中啟動並執行作業均可以自動基於MetaSerivce服務免明文AccessKey訪問阿里雲資源（OSS、LogService和MNS）

  以下是使用MetaService（新）和不使用MetaService（舊）的對比樣本：

  • 通過Hadoop命令列查看OSS資料
    • 舊方式

      hadoop fs -ls oss://ZaH******As1s:Ba23N**************sdaBj2@bucket.oss-cn-hangzhou-internal.aliyuncs.com/a/b/c

    • 新方式

      hadoop fs -ls oss://bucket/a/b/c

  • 通過Hive建表
    • 舊方式

      CREATE EXTERNAL TABLE test_table(id INT, name string)
              ROW FORMAT DELIMITED
              FIELDS TERMINATED BY '/t'
              LOCATION 'oss://ZaH******As1s:Ba23N**************sdaBj2@bucket.oss-cn-hangzhou-internal.aliyuncs.com/a/b/c';

    • 新方式

      CREATE EXTERNAL TABLE test_table(id INT, name string)
              ROW FORMAT DELIMITED
              FIELDS TERMINATED BY '/t'
              LOCATION 'oss://bucket/a/b/c';

  • 使用Spark查看OSS資料
    • 舊方式

      val data = sc.textFile("oss://ZaH******As1s:Ba23N**************sdaBj2@bucket.oss-cn-hangzhou-internal.aliyuncs.com/a/b/c")

    • 新方式

      val data = sc.textFile("oss://bucket/a/b/c")

• 自行部署服務
  MetaService是一個HTTP服務，您可以直接存取這個HTTP服務的URL擷取STS臨時憑證，然後在自行搭建的系統中使用該STS臨時憑證免AccessKey訪問阿里雲資源。

  重要 STS臨時憑證失效前半小時會產生新的STS臨時憑證，在這半小時內，新舊STS臨時憑證均可使用。

  例如，通過curl http://localhost:10011/cluster-region，即可獲得當前叢集所在Region。

  當前MetaService支援以下幾類資訊：

  • Region：/cluster-region
  • 角色名稱：/cluster-role-name
  • AccessKeyID：/role-access-key-id
  • AccessKeySecret：/role-access-key-secret
  • SecurityToken：/role-security-token
  • 網路類型：/cluster-network-type