全部产品
Search
文档中心

开源大数据平台E-MapReduce:配置连接器

更新时间:Jun 29, 2023

本文为您介绍E-MapReduce(简称EMR)的Presto提供的内置连接器,以及如何修改和添加连接器等操作。

EMR Presto内置连接器

EMR Presto默认提供以下几种开箱即用的内置连接器。

连接器

功能

hive

使用Hive连接器可以查询存储在Hive数据仓库中的数据。

kudu

使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。

mysql

使用MySQL连接器可以在外部MySQL实例中查询和创建表。

iceberg

使用Iceberg连接器可以查询Iceberg格式的数据文件。

hudi

使用Hudi连接器可以查询COW和MOR表。

delta

使用Delta连接器可以查询Delta Lake表。

jmx

使用JMX连接器可以进行系统监控和调试。

system

使用系统连接器可以查询集群的基本信息和度量。

说明

系统连接器无需配置,所有信息都可以通过名为system的目录获取。

修改内置连接器

您可以在EMR控制台的Presto服务的配置页面,修改各个连接器对应的配置文件,然后重启Presto服务。连接器与配置文件对应关系如下表。

连接器名称

配置文件

hive-hadoop2

hive.properties

kudu

kudu.properties

mysql

mysql.properties

iceberg

iceberg.properties

hudi

hudi.properties

delta

delta.properties

jmx

jmx.properties

示例:修改Hive连接器

  1. 在EMR控制台的Presto服务的配置页面,在服务配置区域,单击hive.properties页签。

  2. 根据实际情况修改各配置项。

    修改配置项的详细信息,请参见管理配置项

  3. 保存完配置后,在右上角选择更多操作>重启

    重要

    服务重启完成后,修改的连接器才能生效。

增加自定义连接器

您可以使用EMR Presto默认提供的5个占位连接器,增加自定义连接器,分别为connector1、connector2、connector3、connector4和connector5,即EMR控制台的Presto服务的配置页面的connector1.propertiesconnector2.propertiesconnector3.propertiesconnector4.propertiesconnector5.properties。占位连接器的配置方法与内置连接器一致。

如果您需要增加自定义连接器,修改未被使用的占位连接器配置即可。

示例:增加Mongodb连接器

  1. 进入EMR on ECS控制台的Presto服务的配置页面,在服务配置区域,单击connector1.properties页签。

  2. 修改connector.name的值为mongodb

  3. 根据实际情况添加自定义配置项。

    添加配置项的详细信息,请参见修改配置项

  4. 保存完配置后,在右上角选择更多操作>重启