本文介紹如何在Lindorm計算引擎中通過SQL訪問Lindorm寬表引擎資料。
準備工作
通過SQL訪問Lindorm寬表引擎資料前,需要瞭解使用須知。
根據作業的提交方式,請確保已完成了相應的初始化工作:
訪問寬表引擎資料
您可以直接在Catalog "lindorm_table"
中訪問Lindorm寬表引擎資料。Lindorm計算引擎不支援對Lindorm寬表引擎中的表進行DDL操作和分區操作,僅支援常規DML操作。樣本語句如下:
使用Catalog
"lindorm_table"
。USE lindorm_table;
查看錶test的結構。
SHOW CREATE TABLE test;
返回內容如下:
+----------------------------------------------------+ | CREATE TABLE default.test ( | | `id` INT, | | `name` STRING) | | | +----------------------------------------------------+
向Lindorm寬表引擎中的表插入資料。
INSERT INTO test VALUES (0, 'Jay');
查詢Lindorm寬表引擎中的表資料。
SELECT * FROM test;
更多SQL文法請參見DML。
BulkLoad寬表資料(公測中)
BulkLoad資料匯入的SQL文法和普通的INSERT
語句文法相同。如果您需要通過SQL批量寫入寬表引擎,可以配置如下參數:
配置項 | 說明 |
spark.sql.catalog.lindorm_table.bulkLoad.enabled | 是否開啟BulkLoad匯入功能。 取值如下:
|
spark.sql.catalog.lindorm_table.bulkLoad.parallelFactor | 寬表單分區的寫入並發度。預設值為 |
重要
開啟BulkLoad匯入功能後,結果資料將直接產生寬表檔案,並完成註冊,寫入吞吐更高。
對於BulkLoad匯入的資料,寬表不會自動構建二級索引和搜尋索引。