实时计算Flink版：管理Hive Catalog

前提条件

使用限制

• Hive Metastore不支持Kerberos鉴权。

• 支持自建Hive Metastore。

• 由于从Flink社区从1.16版本开始废弃了对Hive 1.x，2.1.x，2.2.x版本的支持，所以仅VVR 6.x 版本支持Hive 1.x，2.1.x，2.2.x。

• 实时计算引擎VVR 4.0.11及以上版本支持DLF作为Hive Catalog的元数据管理中心。

  说明

  如果Hive版本为3.1.0+，对于VVR 6.0.x版本，只有 VVR 6.0.7及以上版本才支持DLF作为Hive Catalog的元数据管理中心。

• 如果Hive Catalog是以DLF作为元数据管理中心，则仅计算引擎VVR 8.0.6及以上版本支持在该Catalog中创建非Hive表。

• 仅VVR 8.0.6及以上版本才支持写入OSS-HDFS。

配置Hive元数据

1. 连通Hadoop集群和Flink的VPC。

   您可以使用云解析PrivateZone产品连通Hadoop集群和Flink的VPC，详情请参见解析器（Resolver）。网络连通后，Flink就可以使用Hadoop集群的配置文件访问Hadoop集群。

2. Hive Catalog支持Hive MetaStore和阿里云DLF作为元数据管理中心，相关配置说明详情如下：

   Hive MetaStore

   需要检查配置文件hive-site.xml中hive.metastore.uris参数配置是否符合下列要求。

   <property>
       <name>hive.metastore.uris</name>
       <value>thrift://xx.yy.zz.mm:9083</value>
       <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
    </property>

   其中xx.yy.zz.mm为Hive的内网IP或者公网IP。

   说明

   如果您将hive.metastore.uris填写为hostname，则需要配置域名解析服务。否则Flink开发控制台远程访问Hive时，hive.metastore.uris参数值会被解析失败并报错UnknownHostException。配置域名解析服务详情请参见添加PrivateZone解析记录。

   阿里云DLF

   需要在配置文件hive-site.xml中添加如下配置项，以便Hive Catalog可以访问DLF。

   说明

   如果您的hive-site.xml包含了dlf.catalog.akMode的配置项，则需要将该配置项删掉，否则将无法访问DLF。

   <property>
     <name>hive.imetastoreclient.factory.class</name>
     <value>com.aliyun.datalake.metastore.hive2.DlfMetaStoreClientFactory</value>
   </property>
   <property>
     <name>dlf.catalog.uid</name>
     <value>${YOUR_DLF_CATALOG_UID}</value>
   </property>
   <property>
     <name>dlf.catalog.endpoint</name>
     <value>${YOUR_DLF_ENDPOINT}</value>
   </property>
   <property>
     <name>dlf.catalog.region</name>
     <value>${YOUR_DLF_CATALOG_REGION}</value>
   </property>
   <property>
     <name>dlf.catalog.accessKeyId</name>
     <value>${YOUR_ACCESS_KEY_ID}</value>
   </property>
   <property>
     <name>dlf.catalog.accessKeySecret</name>
     <value>${YOUR_ACCESS_KEY_SECRET}</value>
   </property>

   如果您的Hive表被存储在OSS中，则还需要添加如下配置。

   <property>
     <name>fs.oss.impl.disable.cache</name>
     <value>true</value>
   </property>
   <property>
     <name>fs.oss.impl</name>
     <value>org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem</value>
   </property>
   <property>
     <name>hive.metastore.warehouse.dir</name>
     <value>${YOUR_OSS_WAREHOUSE_DIR}</value>
   </property>
   <property>
     <name>fs.oss.endpoint</name>
     <value>${YOUR_OSS_ENDPOINT}</value>
   </property>
   <property>
     <name>fs.oss.accessKeyId</name>
     <value>${YOUR_ACCESS_KEY_ID}</value>
   </property>
   <property>
     <name>fs.oss.accessKeySecret</name>
     <value>${YOUR_ACCESS_KEY_SECRET}</value>
   </property>
   <property>
     <name>fs.defaultFS</name>
     <value>oss://${YOUR_OSS_BUCKET_DOMIN}</value>
   </property>

   如果您的Hive表被存储在OSS-HDFS中，则还需要添加如下配置。

   <property>
     <name>fs.jindo.impl</name>
     <value>com.aliyun.jindodata.jindo.JindoFileSystem</value>
   </property>
   <property>
     <name>hive.metastore.warehouse.dir</name>
     <value>${YOUR_OSS_WAREHOUSE_DIR}</value>
   </property>
   <property>
     <name>fs.oss.endpoint</name>
     <value>${YOUR_OSS_ENDPOINT}</value>
   </property>
   <property>
     <name>fs.oss.accessKeyId</name>
     <value>${YOUR_ACCESS_KEY_ID}</value>
   </property>
   <property>
     <name>fs.oss.accessKeySecret</name>
     <value>${YOUR_ACCESS_KEY_SECRET}</value>
   </property>
   <property>
     <name>fs.defaultFS</name>
     <value>oss://${YOUR_OSS_HDFS_BUCKET_DOMIN}</value>
   </property>

   其中涉及的参数解释如下表所示。

   参数	说明	备注
   dlf.catalog.uid	阿里云账号的账号ID。	账号信息，请通过用户信息页面获取。
   dlf.catalog.endpoint	DLF服务的Endpoint。	详情请参见已开通的地域和访问域名。 说明 推荐您为dlf.endpoint参数配置DLF的VPC Endpoint。例如，如果您选择的地域为cn-hangzhou地域，则dlf.endpoint参数需要配置为dlf-vpc.cn-hangzhou.aliyuncs.com。 如果您需要跨VPC访问DLF，则请参见如何访问跨VPC的其他服务？
   dlf.catalog.region	DLF服务的地域名。	详情请参见已开通的地域和访问域名。 说明 请和dlf.endpoint选择的地域保持一致。
   dlf.catalog.accessKeyIdfs.oss.accessKeyId	阿里云账号的Access Key。	获取方法请参见获取AccessKey。
   dlf.catalog.accessKeySecretfs.oss.accessKeySecret	阿里云账号的Access Secret。	获取方法请参见获取AccessKey。
   fs.oss.endpoint	阿里云对象存储OSS的域名。	详情请参见OSS地域和访问域名。
   hive.metastore.warehouse.dir	表数据存放的路径。	无。
   fs.defaultFS	表数据默认存放的文件系统。	如果是写OSS-HDFS，请确保该值为目标Bucket对应HDFS服务的域名，例如oss://oss-hdfs-bucket.cn-hangzhou.oss-dls.aliyuncs.com/。

   说明

   Flink全托管存储用户，此步骤后无需进行下列操作，可以直接跳转到创建Hive Catalog操作。

3. 在OSS控制台新建目录，并将Hive配置文件和Hadoop依赖上传至目标路径。

   1. 登录OSS管理控制台。

   2. 单击Bucket列表。

   3. 单击目标Bucket名称。

   4. 在oss://${bucket}/artifacts/namespaces/${ns}/路径下，新建${hms}目录。

      在OSS上创建目录的操作详情，请参见创建目录。目标路径中的变量含义如下表所示：

      目录	说明
      ${bucket}	您Flink使用的Bucket名称。
      ${ns}	您要使用Hive Catalog功能的Flink项目空间名称。
      ${hms}	建议与下文创建的Hive Catalog名称保持一致。

      说明

      开通Flink工作空间后，系统会自动在您指定的Bucket下创建/artifacts/namespaces/${ns}/目录来存储JAR包等数据。如果您在OSS控制台没有看到如上目录，则需要在Flink开发控制台的资源管理页面，手动上传一个文件来触发目录创建。

   5. 在oss://${bucket}/artifacts/namespaces/${ns}/${hms}路径下，新建hive-conf-dir和hadoop-conf-dir目录。在OSS上新建目录的操作请参见创建目录

      其中hive-conf-dir和hadoop-conf-dir目录中存放的文件详情如下：

      • oss://${bucket}/artifacts/namespaces/${ns}/${hms}/hive-conf-dir/用于存放Hive配置文件hive-site.xml。

      • oss://${bucket}/artifacts/namespaces/${ns}/${hms}/hadoop-conf-dir/用于存放Hadoop配置文件，包括core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml。

      创建成功后，您可以在文件列表页面中，查看新建的目录及文件，并复制OSS链接信息。

   6. 将您的Hive配置文件（hive-site.xml）上传到hive-conf-dir目录下。上传文件的操作请参见上传文件。

   7. 将以下配置文件上传到hadoop-conf-dir目录。上传文件的操作请参见上传文件。

      • hive-site.xml

      • core-site.xml

      • hdfs-site.xml

      • mapred-site.xml

      • 其他文件，例如Hive作业使用的压缩包。

创建Hive Catalog

完成前面的Hive元数据配置后，您可以创建Hive Catalog，支持UI与SQL命令两种方式配置Hive Catalog，推荐使用UI方式配置Hive Catalog。

使用Hive Catalog

-- 在Catalog flinkexporthive下的flinkhive数据库中创建表格flink_hive_test。
CREATE TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test` (
  id INT,
  name STRING
) WITH (
  'connector' = 'hive'
);

-- HIVE表增加字段。
ALTER TABLE `${catalog_name}`.`${db_name}`.`${table_name}` 
ADD column type-column;

-- HIVE表删除字段。
ALTER TABLE `${catalog_name}`.`${db_name}`.`${table_name}` 
DROP column;

-- HIVE表增加字段color。
ALTER TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test` 
ADD color STRING;

-- HIVE表删除字段color。
ALTER TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test` 
DROP color;

INSERT INTO ${other_sink_table}
SELECT ...
FROM `${catalog_name}`.`${db_name}`.`${table_name}`;

INSERT INTO `${catalog_name}`.`${db_name}`.`${table_name}`
SELECT ... 
FROM ${other_source_table};

-- 删除HIVE表。
DROP TABLE `${catalog_name}`.`${db_name}`.`${table_name}`;

-- 删除HIVE表。
DROP TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test`;

查看Hive Catalog

1. 进入元数据管理页面。

   1. 登录实时计算控制台。

   2. 单击目标工作空间操作列下的控制台。

   3. 单击元数据管理。

2. 在Catalog列表页面，查看Catalog名称和类型。

   说明

   如果您需要查看Catalog下的数据库和表，请单击操作列下的查看。

删除Hive Catalog