全部產品
Search
文件中心

Realtime Compute for Apache Flink:SQL作業開發

更新時間:Sep 13, 2024

本文為您介紹Flink全託管SQL作業開發的操作步驟。

使用說明

在編寫SQL作業代碼時,您可以使用內建的豐富連接器,也可以使用自訂函數、自訂連接器等功能。相關的使用情境和使用方法詳情如下:

操作步驟

  1. 登入Flink全託管控制台,新增作業。

    1. 登入Realtime Compute控制台

    2. 單擊目標工作空間操作列下的控制台

    3. 資料開發 > ETL頁面,單擊建立

    4. 單擊空白的流作業草稿

      Flink全託管為您提供了豐富的SQL代碼模板和資料同步模板,每種模板都為您提供了使用情境、程式碼範例和使用指導。您也可以直接單擊對應的模板進行使用,快速實現您的商務邏輯,詳情請參見代碼模板資料同步模板

    5. 單擊下一步

    6. 新增作業草稿對話方塊,填寫作業配置資訊。

      作業參數

      說明

      檔案名稱

      作業的名稱。

      說明

      作業名稱在當前專案中必須保持唯一。

      儲存位置

      指定該作業的儲存位置。

      您還可以在現有檔案夾右側,單擊建立檔案夾表徵圖,建立子檔案夾。

      引擎版本

      當前作業使用的Flink的引擎版本。引擎版本號碼含義、版本對應關係和生命週期重要時間點詳情請參見引擎版本介紹

    7. 單擊建立

  2. 編寫DDL和DML代碼。

    說明

    依託於中繼資料管理能力,您能夠在不同的作業中重複利用建立的表結構。在使用Flink開發控制台編輯SQL作業時,只需要輸入部分字元,系統即可自動補全欄位和表名稱。

    程式碼範例如下。

    --建立源表datagen_source。
    CREATE TEMPORARY TABLE datagen_source(
      name VARCHAR
    ) WITH (
      'connector' = 'datagen'
    );
    
    --建立結果表blackhole_sink。
    CREATE TEMPORARY TABLE blackhole_sink(
      name  VARCHAR
    ) WITH (
      'connector' = 'blackhole'
    );
    
    --將源表資料插入到結果表。
    INSERT INTO blackhole_sink
    SELECT
      name
    from datagen_source;
    1. 在SQL編輯地區右側頁簽,查看或者填寫配置資訊。

      頁簽名稱

      配置說明

      更多配置

      • 引擎版本:引擎版本詳情請參見引擎版本介紹生命週期策略。建議您使用推薦版本或穩定版本,引擎版本戳記含義詳情如下:

        • 推薦版本(Recommend):當前最新大版本下的最新小版本。

        • 穩定版本(Stable):還在產品服務期內的大版本下最新的小版本,已修複歷史版本缺陷。

        • 普通版本(Normal):還在產品服務期內的其他小版本。

        • EOS版本(Deprecated):超過產品服務期限的版本。

      • 附加依賴檔案:作業中需要使用到的附加依賴,例如臨時函數等。

      代碼結構

      • 資料流向圖:您可以通過資料流向圖快速查看出資料的流向。

      • 樹狀結構圖:您可以通過樹狀結構圖快速查看出資料的來源。

      版本資訊

      您可以在此處查看作業版本資訊,操作列下的功能詳情請參見管理作業版本

  3. 單擊儲存

  4. 單擊深度檢查

    深度檢查能夠檢查作業的SQL語義、網路連通性以及作業使用的表的中繼資料資訊。同時,您可以單擊結果地區的SQL最佳化,展開查看SQL風險問題提示以及對應的SQL最佳化建議。

  5. 可選:單擊調試

    您可以使用作業調試功能類比作業運行、檢查輸出結果,驗證SELECT或INSERT商務邏輯的正確性,提升開發效率,降低資料品質風險。詳情請參見作業調試

  6. 單擊部署

    完成作業開發和深度檢查後,即可部署作業,將資料發布至生產環境。部署後,您可以在營運中心 > 作業營運頁面啟動作業至運行階段,詳情請參見作業啟動