全部产品
Search
文档中心

实时计算Flink版:作业启动

更新时间:Sep 12, 2024

完成作业开发和部署后,您需要在作业运维页面启动作业至运行阶段。此外,作业在停止后需要恢复、更新非动态生效的参数配置后需要生效时,也需要启动作业。本文为您介绍如何启动作业。

前提条件

已完成作业部署,详情请参见部署作业

使用限制

  • 仅流作业支持填写启动选项。

  • 仅实时计算引擎VVR 4.0.11及以上版本支持State兼容性检测。

注意事项

  • 当RAM用户、RAM角色或其他阿里云账号在启动作业时,请确保其具有目标项目空间的访问权限,详情请参见项目空间授权权限管理

  • 在启动作业时,如果您选择从最新状态或指定状态启动作业时,系统会进行State兼容性检测。请谨慎启动存在不兼容情况的作业,因为启动后可能会出现启动失败或者运行结果等不符合预期的问题。详情请参见Flink State兼容性参考

操作步骤

  1. 进入作业启动界面。

    1. 具有owner角色的成员登录Flink开发控制台。

    2. 在页面顶部,选择目标项目空间名称。

      image.png

    3. 运维中心 > 作业运维页面的下拉列表中,选择流作业批作业

      image.png

  2. 在目标作业名称右侧,单击操作列下的启动

  3. (可选)流作业需要填写启动选项信息。

    • 无状态启动

      当您是新上线作业或者无法复用State时,需要选择无状态启动。此外,您需要根据业务情况决定是否打开自动调优。

      策略

      说明

      指定源表开始时间

      选中指定源表开始时间并指定具体的时间信息。

      仅日志服务SLS和消息队列Kafka支持在界面上设置源表开始时间。

      作业启动界面指定的读取数据时间优先级高于作业DDL代码里设置的startTime

      说明
      • 不是所有连接器都支持配置startTime参数,详情请参见各连接器WITH参数是否包含startTime,例如日志服务SLS WITH参数

      • 只有全新启动作业并指定了startTimestartTime才生效。如果基于系统检查点或作业快照启动作业,指定了startTime不会生效。

      配置自动调优

      打开该开关后,您需要选择调优模式:

      • 智能调优:系统将在资源使用率比较低时,自动降低资源配置,在资源使用率提高到一定阈值时,再自动提高资源配置。详情请参见开启并配置智能调优

      • 定时调优:选择定时调优后,您需要在下拉列表中选择定时计划。一个计划中可以包含多组资源和时间点的对应关系。您可以根据各时间段的资源使用情况,配置对应的资源。详情请参见开启并配置定时调优

    • 有状态启动

      您可以根据业务情况选择具体的启动策略,以及决定是否打开自动调优。

      策略

      说明

      从最新状态恢复

      从快照或者系统检查点的最新状态进行恢复。如果您选择从最新状态启动作业时,Flink系统会检测SQL作业变化(SQL、Flink运行参数配置和引擎版本)。

      当检测到作业发生变化时,建议单击状态兼容性检测旁的点击检测检查兼容性,并依据兼容性结果后决定后续行为。兼容性结果含义及建议,详情请参见兼容性

      从指定状态恢复

      选择指定的快照,快照创建步骤详情请参见作业状态集管理

      从其他作业恢复

      选择从其他作业恢复后,您需要指定目标作业及对应的快照,来进行作业恢复。支持作业间快照的共享,但需要满足作业间的状态的兼容性,详情请参见作业状态集管理

      允许忽略部分算子状态(AllowNonRestoredState)

      说明

      仅JAR作业支持。

      默认情况下,Flink系统会尝试将整个快照与正在提交的作业匹配。作业的修改引起算子状态的变化,会出现任务不能恢复的情况。此时您可以打开此开关,Flink系统将跳过无法匹配的状态,让作业先正常启动起来。允许忽略部分算子状态详情请参见Allow None-Restored State

      配置自动调优

      打开该开关后,您需要选择调优模式:

      • 智能调优:系统将在资源使用率比较低时,自动降低资源配置,在资源使用率提高到一定阈值时,再自动提高资源配置。详情请参见开启并配置智能调优

      • 定时调优:选择定时调优后,您需要在下拉列表中选择定时计划。一个计划中可以包含多组资源和时间点的对应关系。您可以根据各时间段的资源使用情况,配置对应的资源。详情请参见开启并配置定时调优

  4. 单击启动

    运维中心 > 作业运维页面,查看作业运行状态,详情请参见查看作业运行状态

相关文档

  • 作业启动后,如果您需要修改作业运行参数,请参见运行参数配置。部分参数也支持动态更新,减少作业启停带来的业务断流时间,详情请参见动态扩缩容与参数动态更新

  • 作业启动后,如果您需要进行作业的数据溯源和追踪,定位问题或者评估影响面,请参见查看血缘关系

  • 如果您需要了解企业级状态后端存储GeminiStateBackend,以及其与RocksDBStateBackend的性能对比情况,请参见企业级状态后端存储介绍