全部產品
Search
文件中心

Realtime Compute for Apache Flink:VS Code本地開發外掛程式

更新時間:Jul 18, 2024

Realtime ComputeFlink版VS Code外掛程式基於功能強大的VS Code編輯器,為您打通了本地Flink作業開發全流程,協助您在本地輕鬆完成Flink作業的開發、部署及上線,包括SQL、JAR和Python作業,並支援快速從線上同步作業配置。本文為您介紹VS Code外掛程式的使用說明和操作步驟。

前提條件

使用限制

  • 暫不支援日誌配置。

  • 暫不支援拉取線上存量作業。

外掛程式安裝及配置

  1. 下載安裝外掛程式。

    • 方式1:在VSCode Marketplace直接單擊Install安裝外掛程式。

    • 方式2:

      1. 開啟VS Code,單擊左側導覽列的EXTENSIONS

      2. 在搜尋欄搜尋外掛程式Flink Realtime Compute Studio

      3. 單擊目標外掛程式的Install

  2. 在頂部功能表列單擊File > Open Folder,選擇本地目標檔案夾。

  3. 配置AccessKey資訊。

    當前工作項目空間(當前檔案目錄)下生效

    1. 單擊左側導覽列的image,在Configure AK&SK部分單擊Configure in a.vvprc file,外掛程式會自動建立一個.vvprc副檔名的檔案。

      截屏2024-07-16 13

    2. 填入下列配置資訊。

      {
        "accessKey": "xxx",
        "secretKey": "xxx",
        "namespace": "xxx",
        "workspace": "xxx",
        "regionId" : "xxx"
      }

      參數

      說明

      備忘

      accessKey

      阿里雲帳號的AccessKey ID。

      詳情請參見如何查看AccessKey ID和AccessKey Secret資訊?

      secretKey

      阿里雲帳號的AccessKey Secret。

      namespace

      Flink專案空間名稱。

      詳情請參見查看與刪除專案空間

      workspace

      Flink工作空間ID。

      詳情請參見如何查看工作空間ID等資訊?

      regionId

      地區ID。

      參見服務存取點中的地區ID。

    全域生效

    1. 單擊左側導覽列的image

    2. Configure AK&SK部分單擊Configure in global user settings,會自動跳轉到VS Code全域設定。

      image

    3. 根據需要選擇User或Workspace進行配置。

      說明

      建議優先選擇User進行配置,該配置在VS Code編輯器中適用於所有專案和工作區,儲存在全域設定檔中,而Workspace只適用於當前開啟的工作區。

      參數

      說明

      備忘

      Access Key

      阿里雲帳號的AccessKey ID。

      詳情請參見如何查看AccessKey ID和AccessKey Secret資訊?

      Secret Key

      阿里雲帳號的AccessKey Secret。

      詳情請參見如何查看AccessKey ID和AccessKey Secret資訊?

      Namespace

      Flink專案空間名稱。

      詳情請參見查看與刪除專案空間

      Workspace

      Flink工作空間ID。

      詳情請參見如何查看工作空間ID等資訊?

      Region ID

      地區ID。

      參見服務存取點中的地區ID。

    說明

    配置優先順序:本級檔案夾配置 > 父級檔案夾配置 > 全域配置。

    配置生效後,當前開啟的作業編輯器的底邊狀態列將顯示對應專案空間名稱。

  4. (可選)可以選擇安裝以下兩種外掛程式提高編寫效率。

使用步驟

步驟一:建立作業

  • 方式一:單擊左側導覽列的image,在QUICK START部分單擊Create a new deployment,在頂部輸入名稱後,按Enter建立一個.vvp副檔名的檔案,外掛程式將產生一個帶有預設欄位的作業。

    vscode0

  • 方式二:直接在檔案樹中建立一個.vvp副檔名的檔案,外掛程式將產生一個帶有預設欄位的作業。

步驟二:配置作業

您可以直接在UI表單中配置參數。

image

如果您對作業配置比較熟悉,可以單擊左上方的Raw File按鈕,在作業源檔案中進行配置。單擊UI表單中的字參數名稱,源檔案可直接跳轉到對應位置。

image

  • Basic:基本參數配置

    SQL作業

    參數

    說明

    Deployment Name

    作業名稱。

    Execution Mode

    部署模式,支援流模式(STREAM)和批模式(BATCH)。

    Engine Version

    引擎版本詳情請參見引擎版本介紹。建議您使用推薦版本。

    Deployment Target

    選擇部署的目標資源隊列,詳情請參見管理資源隊列

    Deployment Type

    選擇為SQL。

    SQL Script

    單擊Open in external editor開啟本地編輯器。編寫DDL和DML代碼。

    說明

    此處開啟的編輯器不是真實檔案系統中的檔案,因此重新開啟VS Code時,如果有未關閉的虛擬檔案,對應編輯器視窗會顯示The editor could not be opened because the file was not found錯誤資訊,再次單擊Open in external editor即可正常開啟。

    Additional Dependencies

    作業中需要使用到的附加依賴,需填寫目標附加依賴檔案的URI。

    Description

    可選,填寫備忘資訊。

    JAR作業

    參數配置詳情請參見部署JAR作業

    參數

    說明

    DeploymentName

    作業名稱。

    Execution Mode

    部署模式,支援流模式(STREAM)和批模式(BATCH)。

    Engine Version

    引擎版本,詳情請參見引擎版本介紹,建議您使用推薦版本。

    Deployment Target

    部署目標,選擇目標資源隊列,詳情請參見管理資源隊列

    Deployment Type

    部署作業類型,選擇為JAR。

    JAR URI

    Jar包的OSS路徑或URL。

    您需確認已在Flink開發控制台資源管理中或綁定的OSS Bucket中上傳相關依賴檔案,並擷取對應路徑。

    Entry Point Class

    程式的入口類。如果您的JAR包未指定主類,請在此處輸入您的Entry Point Class類的標準路徑。

    Entry Point Main Arguments

    填寫傳入參數資訊,在主方法中調用該參數。

    Additional Dependencies

    填寫目標附加依賴檔案的OSS路徑或者URL,目前僅支援以檔案名稱結尾的URL。

    您需確認已在Flink開發控制台資源管理中或綁定的OSS Bucket中上傳相關依賴檔案,並擷取對應路徑。

    Description

    可選,填寫備忘資訊。

    Python作業

    參數配置詳情請參見部署Python作業

    參數

    說明

    Deployment Name

    作業名稱。

    Execution Mode

    部署模式,支援流模式(STREAM)和批模式(BATCH)。

    Engine Version

    引擎版本,詳情請參見引擎版本介紹。建議您使用推薦版本。

    Deployment Target

    部署目標,選擇部署的目標資源隊列,詳情請參見管理資源隊列

    Deployment Type

    部署作業類型,選擇為Python。

    Python Uri

    Python作業檔案地址,可以為.py檔案或者.zip檔案。

    Entry Module

    程式的入口類。

    • 如果Python作業檔案為.py檔案,則該項不需要填寫。

    • 如果Python作業檔案為.zip檔案,則需要在此處輸入您的Entry Module。

    Entry Point Main Arguments

    填寫傳入參數資訊,在主方法裡面調用該參數。

    Python Libraries

    第三方Python包。第三方Python包會被添加到Python worker進程的PYTHONPATH中,從而在Python自訂函數中可以直接存取。如何使用第三方Python包,詳情請參見使用第三方Python包

    Python Archives

    封存檔案,詳情請參見使用自訂的Python虛擬環境使用資料檔案

    Additional Dependencies

    填寫目標附加依賴檔案的OSS路徑或URL。

    您需確認已在Flink開發控制台資源管理中或綁定的OSS Bucket中上傳相關依賴檔案,並擷取對應路徑。

    Description

    可選,填寫備忘資訊。

  • Resources:作業資源參數說明詳情請參見配置作業資源

  • Parameters:作業運行參數說明詳情請參見運行參數配置

步驟三:部署作業

開發或配置完成後,對於建立的作業,單擊底部的Create部署作業;對於本地已有作業,單擊底部的Update更新並部署作業。

對於SQL作業,外掛程式將對作業的SQL Script、資源計劃(Resource Plan)以及其它配置進行校正,並輸出校正結果。

步驟四:作業啟動

對於已部署的作業,右上方會顯示作業的最新狀態。您可以單擊Start並選擇啟動狀態,啟動狀態詳情請參見作業啟動

image

步驟五:作業營運

vscode.png

  • Open Online:如果您需要查看作業詳細的健全狀態或進行營運操作,可單擊左上的Open Online,直接跳轉到Flink開發控制台的營運介面。

  • Synchronize:支援快速從線上同步作業。您可以單擊Synchronize進入線上作業預覽介面(預覽介面暫無法查看在控制台進行的SQL作業的草稿更新),確認無誤後可點擊右上方Accept按鈕,外掛程式會將線上作業覆寫到本地作業檔案中。

  • Cancel:停止作業。

相關文檔