全部產品
Search
文件中心

Hologres:匯出至資料湖

更新時間:Oct 29, 2024

本文為您介紹基於DLF通過使用SQL方式將資料從Hologres內部表回寫至OSS,並在外部引擎通過SQL直接查詢寫入的資料。

前提條件

您已完成DLF資料湖的構建和環境配置並通過Hologres外部表格能正常讀取OSS資料湖,詳情請參見OSS資料湖使用說明

匯出資料至資料湖

在資料更新的情境下,需要將資料回寫至OSS,之後再由EMR等外部引擎進行處理,此時,您可以直接通過SQL向外部表格插入資料。

說明

目前僅支援匯出ORC 、Parquet、CSV、SequenceFile、Hudi 、Paimon格式的資料。

  1. 回寫資料至OSS。

    使用如下SQL,將Hologres內部表的資料回寫入OSS。

    INSERT INTO <foreign_table_name>(<col_name>,......) SELECT <col_name>,...... FROM <holo_table_name>;

    參數說明如下:

    參數

    說明

    foreign_table_name

    建立的外部表格名稱。

    holo_table_name

    匯出資料的Hologres內部表名稱。

    col_name

    表中的資料列名稱。

  2. 查詢回寫資料。

    寫入完成後,您可以在EMR(Hive或Spark)中運行如下SQL查詢到寫入的資料。

    SELECT * FROM <foreign_table_name> WHERE <col_name> = value;

    返回成功則表示:Hologres已經成功將資料回寫到OSS,並且EMR也可以順利讀取。