本文為您介紹基於DLF通過使用SQL方式將資料從Hologres內部表回寫至OSS,並在外部引擎通過SQL直接查詢寫入的資料。
前提條件
您已完成DLF資料湖的構建和環境配置並通過Hologres外部表格能正常讀取OSS資料湖,詳情請參見OSS資料湖使用說明。
匯出資料至資料湖
在資料更新的情境下,需要將資料回寫至OSS,之後再由EMR等外部引擎進行處理,此時,您可以直接通過SQL向外部表格插入資料。
說明
目前僅支援匯出ORC 、Parquet、CSV、SequenceFile、Hudi 、Paimon格式的資料。
回寫資料至OSS。
使用如下SQL,將Hologres內部表的資料回寫入OSS。
INSERT INTO <foreign_table_name>(<col_name>,......) SELECT <col_name>,...... FROM <holo_table_name>;
參數說明如下:
參數
說明
foreign_table_name
建立的外部表格名稱。
holo_table_name
匯出資料的Hologres內部表名稱。
col_name
表中的資料列名稱。
查詢回寫資料。
寫入完成後,您可以在EMR(Hive或Spark)中運行如下SQL查詢到寫入的資料。
SELECT * FROM <foreign_table_name> WHERE <col_name> = value;
返回成功則表示:Hologres已經成功將資料回寫到OSS,並且EMR也可以順利讀取。