开源大数据平台E-MapReduce：ECS应用角色（EMR 3.32及之前版本和EMR 4.5及之前版本）

前提条件

已授权该角色，详情请参见阿里云账号角色授权。

背景信息

当前MetaService服务仅支持免AccessKey访问OSS、LogService和MNS数据。

权限内容

支持MetaService的数据源

目前在E-MapReduce上支持MetaService的产品有OSS、LogService和MNS。您可以在E-MapReduce集群上使用E-MapReduce SDK接口免AccessKey读写上述数据源。

MetaService默认只有OSS的读写权限，如果您希望MetaService支持LogService和MNS，请前往RAM控制台为AliyunEmrEcsDefaultRole应用角色增加LogService和MNS的读写权限，RAM控制台链接为RAM控制台。

RAM角色授权，详情请参见为RAM角色授权。

使用MetaService

• EMR自带服务

  EMR自带服务中运行的作业均可以自动基于MetaSerivce服务免明文AccessKey访问阿里云资源（OSS、LogService和MNS）

  以下是使用MetaService（新）和不使用MetaService（旧）的对比示例：

  • 通过Hadoop命令行查看OSS数据
    • 旧方式

      hadoop fs -ls oss://ZaH******As1s:Ba23N**************sdaBj2@bucket.oss-cn-hangzhou-internal.aliyuncs.com/a/b/c

    • 新方式

      hadoop fs -ls oss://bucket/a/b/c

  • 通过Hive建表
    • 旧方式

      CREATE EXTERNAL TABLE test_table(id INT, name string)
              ROW FORMAT DELIMITED
              FIELDS TERMINATED BY '/t'
              LOCATION 'oss://ZaH******As1s:Ba23N**************sdaBj2@bucket.oss-cn-hangzhou-internal.aliyuncs.com/a/b/c';

    • 新方式

      CREATE EXTERNAL TABLE test_table(id INT, name string)
              ROW FORMAT DELIMITED
              FIELDS TERMINATED BY '/t'
              LOCATION 'oss://bucket/a/b/c';

  • 使用Spark查看OSS数据
    • 旧方式

      val data = sc.textFile("oss://ZaH******As1s:Ba23N**************sdaBj2@bucket.oss-cn-hangzhou-internal.aliyuncs.com/a/b/c")

    • 新方式

      val data = sc.textFile("oss://bucket/a/b/c")

• 自行部署服务
  MetaService是一个HTTP服务，您可以直接访问这个HTTP服务的URL获取STS临时凭证，然后在自行搭建的系统中使用该STS临时凭证免AccessKey访问阿里云资源。

  重要 STS临时凭证失效前半小时会生成新的STS临时凭证，在这半小时内，新旧STS临时凭证均可使用。

  例如，通过curl http://localhost:10011/cluster-region，即可获得当前集群所在Region。

  当前MetaService支持以下几类信息：

  • Region：/cluster-region
  • 角色名：/cluster-role-name
  • AccessKeyID：/role-access-key-id
  • AccessKeySecret：/role-access-key-secret
  • SecurityToken：/role-security-token
  • 网络类型：/cluster-network-type