本文介绍如何在Lindorm计算引擎中通过SQL访问Lindorm宽表引擎数据。
准备工作
通过SQL访问Lindorm宽表引擎数据前,需要了解使用须知。
根据作业的提交方式,请确保已完成了相应的初始化工作:
访问宽表引擎数据
您可以直接在Catalog "lindorm_table"
中访问Lindorm宽表引擎数据。Lindorm计算引擎不支持对Lindorm宽表引擎中的表进行DDL操作和分区操作,仅支持常规DML操作。示例语句如下:
使用Catalog
"lindorm_table"
。USE lindorm_table;
查看表test的结构。
SHOW CREATE TABLE test;
返回内容如下:
+----------------------------------------------------+ | CREATE TABLE default.test ( | | `id` INT, | | `name` STRING) | | | +----------------------------------------------------+
向Lindorm宽表引擎中的表插入数据。
INSERT INTO test VALUES (0, 'Jay');
查询Lindorm宽表引擎中的表数据。
SELECT * FROM test;
更多SQL语法请参见DML。
BulkLoad宽表数据(公测中)
BulkLoad数据导入的SQL语法和普通的INSERT
语句语法相同。如果您需要通过SQL批量写入宽表引擎,可以配置如下参数:
配置项 | 说明 |
spark.sql.catalog.lindorm_table.bulkLoad.enabled | 是否开启BulkLoad导入功能。 取值如下:
|
spark.sql.catalog.lindorm_table.bulkLoad.parallelFactor | 宽表单分区的写入并发度。默认值为 |
重要
开启BulkLoad导入功能后,结果数据将直接生成宽表文件,并完成注册,写入吞吐更高。
对于BulkLoad导入的数据,宽表不会自动构建二级索引和搜索索引。