数据湖构建：EMR元数据迁移DLF最佳实践

准备工作

1. 已创建元数据为自建RDS的EMR集群。如未创建，请参见配置自建RDS。本示例中元数据为自建RDS。

2. 已在EMR集群中创建Hive数据库。如未创建，请参见Hive基础操作。本示例数据库为testdb2。

3. 在元数据迁移之前，我们需要检查数据库远程访问权限。

   • 登录RDS或MySQL数据库，执行如下语句进行远程访问授权（以root账号，testdb库为例），其中xxxx为root用户的密码。

     CREATE USER 'root'@'%' IDENTIFIED BY 'xxxx';
     GRANT ALL PRIVILEGES ON testdb.* TO 'root'@'%' WITH GRANT OPTION;
     FLUSH PRIVILEGES;

   • 如果是RDS数据库，也可以在RDS控制台上查看和修改访问权限，详情请参见修改账号权限。

     

创建迁移任务

1. 登录数据湖构建控制台。

2. 切换到EMR集群所属的地域。

3. 在左侧菜单栏，单击元数据 > 元数据迁移。

4. 在迁移任务页签，单击创建迁移任务。

5. 配置源库信息，如下图。配置参数详情，请参见创建元数据迁移任务。

   

6. 配置迁移任务，如下图。本示例任务名称为test_rds。

   

7. 确认任务配置信息无误，单击确定，创建任务完成。

运行迁移任务

在迁移任务列表中，可以查看刚刚创建的迁移任务test_rds，单击操作列的运行，执行任务。执行成功后如下图。

查看运行记录和日志

1. 单击操作列的运行记录，可查看任务的执行历史。如下图：

   

2. 单击操作列的查看日志，可查看任务运行的日志详情。

确认元数据迁移到DLF

1. 在左侧菜单栏，单击元数据 > 元数据管理。

2. 单击数据库页签，选择数据目录，查询目标数据库名称。如下图：

   

Hive

在hive-site.xml中修改如下配置，开启自动配置更新，并保存，重启Hive服务。详情请参见修改配置项。

<!-- 配置dlf 元数据服务地址，region替换为集群所在的region，比如cn-hangzhou -->
dlf.catalog.endpoint=dlf-vpc.{regionId}.aliyuncs.com
<!-- 注意：复制粘贴后检查下，不要有空格！！！ -->
hive.imetastoreclient.factory.class=com.aliyun.datalake.metastore.hive2.DlfMetaStoreClientFactory
dlf.catalog.akMode=EMR_AUTO
dlf.catalog.proxyMode=DLF_ONLY

<!-- Hive3需要配置 -->
hive.notification.event.poll.interval=0s
<!--EMR-3.33版本之前和EMR-4.6.0之前，需要配置-->
dlf.catalog.sts.isNewMode=false

Presto

在hive.properties中添加如下配置，开启自动配置更新，并保存，重启Presto服务。详情请参见添加配置项。

hive.metastore=dlf
<!-- 配置dlf 元数据服务地址，region替换为集群所在的region，比如cn-hangzhou -->
dlf.catalog.endpoint=dlf-vpc.{regionId}.aliyuncs.com
dlf.catalog.akMode=EMR_AUTO
dlf.catalog.proxyMode=DLF_ONLY
 
<!-- 请参考hive组件hive-site.xml中配置的hive.metastore.warehouse.dir值 -->
dlf.catalog.default-warehouse-dir= <!-- 与hive.metastore.warehouse.dir值相同 -->

<!--EMR-3.33版本之前和EMR-4.6.0之前，需要配置-->
dlf.catalog.sts.isNewMode=false

Spark

在Spark配置页面，单击部署客户端配置，然后重启Spark服务。

Impala

在Impala配置页面，单击部署客户端配置，然后重启Impala服务。

验证是否切换成功

以Hive引擎为例，其他引擎也可进行验证。

1. 使用SSH方式登录集群，详情请参见登录集群。

2. 执行以下命令，进入Hive命令行。

   hive

3. 执行以下命令，创建数据库。本文示例中的数据库以dlf_test_db为例介绍。

   CREATE database if NOT EXISTS dlf_test_db;

   当返回信息包含OK时，表示创建数据库dlf_test_db成功。

4. 登录数据湖构建控制台。

5. 在左侧菜单栏，选择元数据 > 元数据管理。

6. 单击数据库页签，选择相应的数据目录，在数据库名称中查询dlf_test_db是否存在。如下图：

   

   若存在，表示切换DLF元数据成功。否则，切换失败。