实时计算Flink版：Flink批处理调优指南

执行模式

• 流处理作业：流处理模式专注于处理持续不断的无界数据流，其核心在于实现低延迟的数据处理。在这种模式下，数据会以流水线模式在节点间即时传递并被处理。因此，流处理作业所有节点的子任务会同时部署和执行。

• 批处理作业：批处理模式专注于处理有界数据集，重点在于提供高吞吐量的数据处理。在这种执行模式下，作业通常由多个阶段组成，互不依赖的阶段可以并行执行，以提高资源利用率；对于存在数据依赖的阶段，下游任务需等待上游任务完成后才能启动。

数据传输

• 流处理作业：为了实现低延迟，流处理作业的中间数据保留在内存中并直接通过网络进行传输，不会持久化。如果下游节点处理能力不足，则可能会导致上游节点遭遇反压。

• 批处理作业：批处理作业的中间结果会写入到外部存储系统中以供下游使用。默认情况下，这些结果文件存储在TaskManager的本地磁盘；如果使用远端Shuffle服务，则数据文件会存储在远端Shuffle服务中。

资源需求

• 流处理作业：流处理作业在启动时需要预先分配所有资源，以确保所有子任务能够同时部署并运行。

• 批处理作业：批处理作业在运行时不需要一次性获取所有资源。Flink可以分批调度输入数据已经就绪的任务，从而能够更高效地利用现有资源，即使在资源受限（甚至单Slot）的情况下也能顺利执行。

任务失败重启

• 流处理作业：流处理作业在遇到故障时可以从最近的检查点或保存点恢复，这样作业进度回退的程度较小。但因为中间结果不持久化，恢复时需要重新启动所有任务。

• 批处理作业：批处理作业的中间结果数据会落盘，因此当任务出错重启时，这些中间结果能够被再次利用，这意味着只需重启失败的任务以及它的下游任务即可，无需全局回溯。这样可以减少因故障而需要重新执行的任务数，提高恢复效率。不过由于批作业没有检查点机制，这些重启的任务需要从头开始运行。

资源配置

并行度配置

在作业的资源配置中，支持为作业设置全局并行度或自动推断并行度。

• 全局并行度：全局并行度决定作业中任务的最大并行执行数量。您可以直接在页面上填写作业的并行度，作业将使用该值作为全局默认并行度。

• 自动推断：配置自动推断后，Flink批作业将通过分析每个节点的消费总数据量和每个子任务期望处理的平均数据量来自动推导并行度，帮助您优化并行度配置。

此外，实时计算引擎VVR 8.0及以上版本提供了以下配置项（作业运行参数配置区域配置），使您能够对自动并行度推导进行更精细的调优：

并行度与Slot数的区别

并行度是指作业中能够同时执行的任务实例的最大数量。它反映了作业处理能力的理论上限。Slot是Flink作业中的资源分配单元，Slot的数量决定了Flink作业能够同时处理多少个任务实例。

由于流处理作业一次性获取全部的资源来同时运行所有任务，在默认开启Slot-sharing的情况下，申请的Slot数量通常与作业全局并行度数一致，以确保所有任务都能获得必要的资源。

批处理作业处理的是有限数据集，不需要所有任务一次性获取所有资源。全局并行度表示作业各节点的最大并行任务数，而实际的并行执行数量取决于当前可用的Slot。

批作业运行卡住如何定位

您可以参见查看作业性能文档了解如何监控TaskManager的内存、CPU和线程使用情况。

• 内存问题排查：首先检查内存使用情况，判断是否存在内存不足导致的频繁垃圾回收（GC）。如果确认存在内存不足，应增加TaskManager的内存配置，以减少因频繁垃圾回收导致的性能问题。

• CPU使用分析：检查是否存在个别线程占用了大量CPU资源，这可能是导致作业卡顿的原因。

• 线程栈跟踪：利用线程栈信息，分析当前节点运行的瓶颈所在。

报错No space left on device

当您在实时计算引擎中运行批处理作业时，如果遇到No space left on device的报错，这通常意味着TaskManager用于存储中间结果文件的本地磁盘空间已被耗尽。每个TaskManager的可用磁盘空间是有限的，与其分配的CPU核心数是成比例的。具体来说，会给每个CPU核心配额20GiB的磁盘空间。TaskManager最低磁盘空间为20GiB，最大磁盘空间为200GiB。

解决建议：

• 减少每个TaskManager上的Slot数量，可以降低单个节点上的并行任务数，从而减少对本地磁盘空间的需求。

• 提高TaskManager的CPU核心数，从而提高TaskManager的磁盘空间大小。