全部产品
Search
文档中心

实时计算Flink版:VS Code本地开发插件

更新时间:Jul 17, 2024

实时计算Flink版VS Code插件基于功能强大的VS Code编辑器,为您打通了本地Flink作业开发全流程,帮助您在本地轻松完成Flink作业的开发、部署及上线,包括SQL、JAR和Python作业,并支持快速从线上同步作业配置。本文为您介绍VS Code插件的使用说明和操作步骤。

前提条件

使用限制

  • 暂不支持日志配置。

  • 暂不支持拉取线上存量作业。

插件安装及配置

  1. 下载安装插件。

    • 方式1:在VSCode Marketplace直接单击Install安装插件。

    • 方式2:

      1. 打开VS Code,单击左侧导航栏的EXTENSIONS

      2. 在搜索栏搜索插件Flink Realtime Compute Studio

      3. 单击目标插件的Install

  2. 在顶部菜单栏单击File > Open Folder,选择本地目标文件夹。

  3. 配置AccessKey信息。

    当前工作项目空间(当前文件目录)下生效

    1. 单击左侧导航栏的image,在Configure AK&SK部分单击Configure in a.vvprc file,插件会自动创建一个.vvprc扩展名的文件。

      截屏2024-07-16 13

    2. 填入下列配置信息。

      {
        "accessKey": "xxx",
        "secretKey": "xxx",
        "namespace": "xxx",
        "workspace": "xxx",
        "regionId" : "xxx"
      }

      参数

      说明

      备注

      accessKey

      阿里云账号的AccessKey ID。

      详情请参见如何查看AccessKey ID和AccessKey Secret信息?

      secretKey

      阿里云账号的AccessKey Secret。

      namespace

      Flink项目空间名称。

      详情请参见查看与删除项目空间

      workspace

      Flink工作空间ID。

      详情请参见如何查看工作空间ID等信息?

      regionId

      地区ID。

      参见服务接入点中的地域ID。

    全局生效

    1. 单击左侧导航栏的image

    2. Configure AK&SK部分单击Configure in global user settings,会自动跳转到VS Code全局设置。

      image

    3. 根据需要选择User或Workspace进行配置。

      说明

      建议优先选择User进行配置,该配置在VS Code编辑器中适用于所有项目和工作区,存储在全局配置文件中,而Workspace只适用于当前打开的工作区。

      参数

      说明

      备注

      Access Key

      阿里云账号的AccessKey ID。

      详情请参见如何查看AccessKey ID和AccessKey Secret信息?

      Secret Key

      阿里云账号的AccessKey Secret。

      详情请参见如何查看AccessKey ID和AccessKey Secret信息?

      Namespace

      Flink项目空间名称。

      详情请参见查看与删除项目空间

      Workspace

      Flink工作空间ID。

      详情请参见如何查看工作空间ID等信息?

      Region ID

      地区ID。

      参见服务接入点中的地域ID。

    说明

    配置优先级:本级文件夹配置 > 父级文件夹配置 > 全局配置。

    配置生效后,当前打开的作业编辑器的底边状态栏将显示对应项目空间名称。

  4. (可选)可以选择安装以下两种插件提高编写效率。

使用步骤

步骤一:创建作业

  • 方式一:单击左侧导航栏的image,在QUICK START部分单击Create a new deployment,在顶部输入名称后,按Enter创建一个.vvp扩展名的文件,插件将生成一个带有默认字段的作业。

    vscode0

  • 方式二:直接在文件树中新建一个.vvp扩展名的文件,插件将生成一个带有默认字段的作业。

步骤二:配置作业

您可以直接在UI表单中配置参数。

image

如果您对作业配置比较熟悉,可以单击左上角的Raw File按钮,在作业源文件中进行配置。单击UI表单中的字参数名称,源文件可直接跳转到对应位置。

image

  • Basic:基本参数配置

    SQL作业

    参数

    说明

    Deployment Name

    作业名称。

    Execution Mode

    部署模式,支持流模式(STREAM)和批模式(BATCH)。

    Engine Version

    引擎版本详情请参见引擎版本介绍。建议您使用推荐版本。

    Deployment Target

    选择部署的目标资源队列,详情请参见管理资源队列

    Deployment Type

    选择为SQL。

    SQL Script

    单击Open in external editor打开本地编辑器。编写DDL和DML代码。

    说明

    此处打开的编辑器不是真实文件系统中的文件,因此重新打开VS Code时,如果有未关闭的虚拟文件,对应编辑器窗口会显示The editor could not be opened because the file was not found错误信息,再次单击Open in external editor即可正常打开。

    Additional Dependencies

    作业中需要使用到的附加依赖,需填写目标附加依赖文件的URI。

    Description

    可选,填写备注信息。

    JAR作业

    参数配置详情请参见部署JAR作业

    参数

    说明

    DeploymentName

    作业名称。

    Execution Mode

    部署模式,支持流模式(STREAM)和批模式(BATCH)。

    Engine Version

    引擎版本,详情请参见引擎版本介绍,建议您使用推荐版本。

    Deployment Target

    部署目标,选择目标资源队列,详情请参见管理资源队列

    Deployment Type

    部署作业类型,选择为JAR。

    JAR URI

    Jar包的OSS路径或URL。

    您需确认已在Flink开发控制台资源管理中或绑定的OSS Bucket中上传相关依赖文件,并获取对应路径。

    Entry Point Class

    程序的入口类。如果您的JAR包未指定主类,请在此处输入您的Entry Point Class类的标准路径。

    Entry Point Main Arguments

    填写传入参数信息,在主方法中调用该参数。

    Additional Dependencies

    填写目标附加依赖文件的OSS路径或者URL,目前仅支持以文件名结尾的URL。

    您需确认已在Flink开发控制台资源管理中或绑定的OSS Bucket中上传相关依赖文件,并获取对应路径。

    Description

    可选,填写备注信息。

    Python作业

    参数配置详情请参见部署Python作业

    参数

    说明

    Deployment Name

    作业名称。

    Execution Mode

    部署模式,支持流模式(STREAM)和批模式(BATCH)。

    Engine Version

    引擎版本,详情请参见引擎版本介绍。建议您使用推荐版本。

    Deployment Target

    部署目标,选择部署的目标资源队列,详情请参见管理资源队列

    Deployment Type

    部署作业类型,选择为Python。

    Python Uri

    Python作业文件地址,可以为.py文件或者.zip文件。

    Entry Module

    程序的入口类。

    • 如果Python作业文件为.py文件,则该项不需要填写。

    • 如果Python作业文件为.zip文件,则需要在此处输入您的Entry Module。

    Entry Point Main Arguments

    填写传入参数信息,在主方法里面调用该参数。

    Python Libraries

    第三方Python包。第三方Python包会被添加到Python worker进程的PYTHONPATH中,从而在Python自定义函数中可以直接访问。如何使用第三方Python包,详情请参见使用第三方Python包

    Python Archives

    存档文件,详情请参见使用自定义的Python虚拟环境使用数据文件

    Additional Dependencies

    填写目标附加依赖文件的OSS路径或URL。

    您需确认已在Flink开发控制台资源管理中或绑定的OSS Bucket中上传相关依赖文件,并获取对应路径。

    Description

    可选,填写备注信息。

  • Resources:作业资源参数说明详情请参见配置作业资源

  • Parameters:作业运行参数说明详情请参见运行参数配置

步骤三:部署作业

开发或配置完成后,对于新建的作业,单击底部的Create部署作业;对于本地已有作业,单击底部的Update更新并部署作业。

对于SQL作业,插件将对作业的SQL Script、资源计划(Resource Plan)以及其它配置进行校验,并输出校验结果。

步骤四:作业启动

对于已部署的作业,右上角会显示作业的最新状态。您可以单击Start并选择启动状态,启动状态详情请参见作业启动

image

步骤五:作业运维

vscode.png

  • Open Online:如果您需要查看作业详细的运行状况或进行运维操作,可单击左上的Open Online,直接跳转到Flink开发控制台的运维界面。

  • Synchronize:支持快速从线上同步作业。您可以单击Synchronize进入线上作业预览界面(预览界面暂无法查看在控制台进行的SQL作业的草稿更新),确认无误后可点击右上角Accept按钮,插件会将线上作业覆写到本地作业文件中。

  • Cancel:停止作业。

相关文档