全部产品
Search
文档中心

开源大数据平台E-MapReduce:配置连接器

更新时间:Jun 25, 2023

本文为您介绍E-MapReduce(简称EMR)的Trino提供的内置连接器,以及如何修改和添加连接器等操作。

EMR Trino内置连接器

EMR Trino默认提供以下几种开箱即用的内置连接器。

连接器

功能

对应文档

Hive

使用Hive连接器可以查询存储在Hive数据仓库中的数据。

Hive连接器

Kudu

使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。

Kudu连接器

MySQL

使用MySQL连接器可以在外部MySQL实例中查询和创建表。

MySQL连接器

Iceberg

使用Iceberg连接器可以查询Iceberg格式的数据文件。

Iceberg连接器

Hudi

使用Hudi连接器可以查询COW和MOR表。

Hudi连接器

Delta

使用Delta连接器可以查询Delta Lake表。

Delta连接器

JMX

使用JMX连接器可以进行系统监控和调试。

JMX连接器

system

使用系统连接器可以查询集群的基本信息和度量。

说明

系统连接器无需配置,所有信息都可以通过名为system的目录获取。

修改内置连接器

您可以在EMR控制台的Trino服务的配置页面,修改各个连接器对应的配置文件。连接器与配置文件对应关系如下表。

连接器

配置文件

Hive

hive.properties

Kudu

kudu.properties

MySQL

mysql.properties

Iceberg

iceberg.properties

Hudi

hudi.properties

Delta

delta.properties

JMX

jmx.properties

system

system.properties

示例:修改Hive连接器

  1. 在EMR控制台的Presto服务的配置页面,在服务配置区域,单击hive.properties页签。

  2. 根据实际情况修改各配置项。

    修改配置项的详细信息,请参见管理配置项

  3. 保存完配置后,在右上角选择更多操作 > 重启

    说明

    服务重启完成后,即可正常使用连接器。

增加自定义连接器

说明

仅EMR-3.27.0及后续版本、EMR-4.3.0及后续版本、EMR-5.2.0及后续版本支持添加自定义连接器。

您可以使用EMR Trino默认提供的5个占位连接器,增加自定义连接器,分别为connector1、connector2、connector3、connector4和connector5,即EMR控制台的Presto服务的配置页面的connector1.propertiesconnector2.propertiesconnector3.propertiesconnector4.propertiesconnector5.properties。占位连接器的配置方法与内置连接器一致。

如果你需要增加自定义连接器,修改未被使用的占位连接器配置即可。

示例:增加Mongodb连接器

  1. 进入EMR on ECS控制台的Trino服务的配置页面,在服务配置区域,单击connector1.properties页签。

  2. 修改connector.name的值为mongodb

  3. 根据实际情况添加自定义配置项。

    添加配置项的详细信息,请参见修改配置项

  4. 保存完配置后,在右上角选择更多操作 > 重启

    说明

    服务重启完成后,即可正常使用连接器。