为了确保在实时计算开发控制台中更加高效且灵活地管理和操作Paimon表(合并小文件、数据排序等特定任务等),您需要提前配置相关工具包。本文为您介绍如何在实时计算开发控制台中完成这一配置过程,助力您更轻松管理Paimon表数据。
使用限制
仅实时计算引擎VVR 8.0.5及以上版本支持Paimon表。
操作步骤
单击链接下载Paimon数据管理环境所需JAR包。
在实时计算开发控制台,在文件管理页面单击上传资源,上传步骤1中下载的两个JAR包。
在
页面单击 ,填写相关配置项。配置项说明如下:
配置项
说明
本文示例
部署模式
流模式或批模式,您需要根据具体功能进行选择。
批模式
部署名称
填写对应的JAR作业名称。
test
引擎版本
选择实时计算引擎VVR 8.0.5及以上版本。
vvr-8.0.5-flink-1.17
JAR URI
上传paimon-flink-action JAR包。
选择步骤2上传的paimon-flink-action。
Entry Point Class
程序的入口类。
不填写。
Entry Point Main Arguments
传入参数,在主方法里面调用该参数。
根据具体功能填写,详见相关功能文档。例如实现数据排序功能,详情请参见消费作业优化。
附加依赖文件
指定要附加的依赖文件的路径或文件名。
选择步骤2上传的paimon-ali-vvr。
单击部署,部署作业。
在作业启动。
页面,单击启动,启动步骤详情请参见
相关文档
作业启动后,如果您需要配置Flink作业运行参数,详情请参见配置作业部署信息。
作业运行参数中部分参数也支持动态更新,减少作业启停带来的业务断流时间,详情请参见动态扩缩容与参数动态更新。
不同场景下Paimon主键表和Append Scalable表的常用优化,详情请请见Paimon性能优化。