全部产品
Search
文档中心

云原生数据仓库AnalyticDB:CreateHadoopDataSource - 创建hadoop外部数据源

更新时间:Nov 14, 2024

创建hadoop数据源配置。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

下表是API对应的授权信息,可以在RAM权限策略语句的Action元素中使用,用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下:

  • 操作:是指具体的权限点。
  • 访问级别:是指每个操作的访问级别,取值为写入(Write)、读取(Read)或列出(List)。
  • 资源类型:是指操作中支持授权的资源类型。具体说明如下:
    • 对于必选的资源类型,用背景高亮的方式表示。
    • 对于不支持资源级授权的操作,用全部资源表示。
  • 条件关键字:是指云产品自身定义的条件关键字。
  • 关联操作:是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限,操作才能成功。
操作访问级别资源类型条件关键字关联操作
gpdb:CreateHadoopDataSourcecreate
*DBInstance
acs:gpdb:{#regionId}:{#accountId}:dbinstance/{#DBInstanceId}

请求参数

名称类型必填描述示例值
RegionIdstring

地域 ID。

说明 您可以调用 DescribeRegions 接口查看可用的地域 ID。
cn-hangzhou
DataSourceNamestring

服务名称。

hdfs_pxf
DataSourceDescriptionstring

服务描述。

pxf for hdfs data source
DataSourceTypestring

开通 Hadoop 外部表类型,取值

  • HDFS

  • Hive

HDFS
HadoopCreateTypestring

外部服务类型:

  • emr

  • hadoop: 自建 hadoop

emr
HadoopHostsAddressstring

Hadoop 集群源节点在/etc/hosts 文件中的地址和 hostname。

192.168.220.128 master-1-1.c-xxx.cn-shanghai.emr.aliyuncs.com 192.168.220.129 core-1-1.c-xxx.cn-shanghai.emr.aliyuncs.com 192.168.220.130 core-1-2.c-xxx.cn-shanghai.emr.aliyuncs.com
HadoopCoreConfstring

Hadoop core-site.xml 文件内容字符串。

<?xml version="1.0" ?> <!-- Created at 2023-08-15 13:52:39.527 --> <configuration> <property> <name>hadoop.http.authentication.kerberos.keytab</name> <value>/etc/emr/hadoop-conf/http.keytab</value> </property> <property> <name>fs.oss.idle.timeout.millisecond</name> <value>30000</value> </property> <property> <name>fs.oss.download.thread.concurrency</name> <value>32</value> </property> </configuration>
HDFSConfstring

Hadoop hdfs-site.xml 文件内容字符串。在选择开通 HDFS 外表时,该字段必填。

<?xml version="1.0" ?> <!-- Created at 2023-08-15 13:52:43.945 --> <configuration> <property> <name>dfs.datanode.cache.revocation.timeout.ms</name> <value>900000</value> </property> <property> <name>dfs.namenode.resource.check.interval</name> <value>5000</value> </property> </configuration>
HiveConfstring

Hadoop hive-site.xml 文件内容字符串。在选择开通 HIVE 外表时,该字段必填。

<?xml version="1.0" ?> <!-- Created at 2023-08-15 13:52:50.646 --> <configuration> <property> <name>hive.exec.reducers.bytes.per.reducer</name> <value>256000000</value> </property> <property> <name>hive.stats.column.autogather</name> <value>false</value> </property> </configuration>
YarnConfstring

Hadoop yarn-site.xml 文件内容字符串。在选择开通 HDFS 外表时,该字段必填。

<?xml version="1.0" ?> <!-- Created at 2023-08-15 13:53:29.021 --> <configuration> <property> <name>yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user</name> <value>hadoop</value> </property> <property> <name>yarn.scheduler.fair.dynamic.max.assign</name> <value>true</value> </property> </configuration>
DBInstanceIdstring

实例 ID。

gp-xxxxxxx
MapReduceConfstring

Hadoop mapred-site.xml 文件内容字符串。在选择开通 HDFS 外表时,该字段必填。

xxxxxx
EmrInstanceIdstring

HadoopCreateType=Emr 时,此字段值为 emr 实例 id。

c-1234567

返回参数

名称类型描述示例值
object
DataSourceIdinteger

数据源 ID。

123
RequestIdstring

请求 ID。

2C125605-266F-41CA-8AC5-3A643D4F42C5

示例

正常返回示例

JSON格式

{
  "DataSourceId": 123,
  "RequestId": "2C125605-266F-41CA-8AC5-3A643D4F42C5"
}

错误码

访问错误中心查看更多错误码。