在EMR StarRocks上查询Delta Lake数据 - 开源大数据平台E-MapReduce

Delta Lake Catalog是一种External Catalog。通过Delta Lake Catalog，您可以直接查询Delta Lake中的数据。本文为您介绍如何在E-MapReduce的StarRocks集群上创建和查看Delta Lake Catalog。

前提条件

CREATE EXTERNAL CATALOG <catalog_name>
PROPERTIES
( 
  "key"="value", 
  ...
);

catalog_name：Delta Lake Catalog的名称，必选参数。命名要求如下：
- 必须由字母（a~z或A~Z）、数字（0~9）或下划线（_）组成，且只能以字母开头。
- 总长度不能超过64个字符。
PROPERTIES：Delta Lake Catalog的属性，必选参数。Delta Lake使用的元数据服务不同，该参数的配置也不同。不同元数据服务的配置方法如下：
- Hive MetaStore
  属性
  是否必选
  说明
  type
  是
  数据源类型，取值为deltalake。
  hive.metastore.uris
  是
  Hive MetaStore的URI。格式为thrift://<Hive metastore的IP地址>:<端口号>，端口号默认为9083。
- DLF
  使用DLF查看数据源，详情请参见使用DLF元数据。

以下示例创建了一个名为delta_catalog的Delta Lake Catalog。

CREATE EXTERNAL CATALOG delta_catalog
PROPERTIES
(
    "type" = "deltalake",
    "hive.metastore.uris" = "thrift://xx.xx.xx.xx:9083"
);

您可以通过SELECT查询目标数据库中的目标表。

SELECT * FROM <catalog_name>.<database_name>.<table_name>;

属性	是否必选	说明
`type`	是	数据源类型，取值为`deltalake`。
`hive.metastore.uris`	是	Hive MetaStore的URI。格式为`thrift://<Hive metastore的IP地址>:<端口号>`，端口号默认为9083。