全部产品
Search
文档中心

日志服务:管理数据加工任务

更新时间:Dec 21, 2023

本文介绍如何在日志服务控制台上管理数据加工任务,包括查看任务详情与状态,修改、启动、停止和删除任务,设置告警等操作。

查看任务详情

  1. 登录日志服务控制台

  2. 在Project列表区域,单击目标Project。

  3. 在左侧导航栏中,选择任务管理 > 数据加工

  4. 在加工任务列表中,单击目标加工任务。

  5. 数据加工概览页面,查看加工任务详情。

    加工任务

    配置项

    说明

    源日志库

    进行数据加工的Logstore。

    状态

    数据加工任务的状态。更多信息,请参见查看任务状态

    任务ID

    数据加工任务ID。

    时间范围

    创建数据加工任务时,设置的数据加工时间范围。

    任务创建时间

    创建数据加工规则的时间。

    任务修改时间

    修改数据加工规则的时间。

    任务结束时间

    数据加工任务的结束时间。

    说明

    如果您在创建加工任务时没有指定加工的结束时间,则此处显示为空。

    存储目标

    包括目标名称、用于存储数据加工结果的目标Project名称和目标Logstore名称。

    消费进度

    数据加工任务读取源Logstore日志数据的消费进度。

    执行状态

    默认创建的数据加工规则执行数据指标的仪表盘,包括总览指标、加工速率指标、消费延迟指标、消费速率指标、活跃Shard指标、异常情况。更多信息,请参见数据加工仪表盘

查看任务状态

您可以在数据加工概览页面查看任务运行状态。任务运行状态以及不同状态下支持的操作如下:

状态\操作

停止

启动

重新执行

修改

删除

启动中

不支持

不支持

不支持

支持

支持

运行中

支持

不支持

支持

支持

支持

停止中

不支持

不支持

不支持

支持

支持

已终止

不支持

支持

支持

支持

支持

成功

不支持

不支持

支持

支持

支持

失败

不支持

不支持

支持

支持

支持

停止任务

对于状态为运行中的任务,在数据加工概览页面,选择操作 > 停止

说明

停止任务会保存当前的加工位置,如果任务再次启动会从停止的位置继续加工。如果需要从配置的时间范围重新开始执行,请参见重新执行

启动任务

对于状态为已终止的任务,在数据加工概览页面,单击启动

重新执行

在任何状态的任务都支持重新执行。在数据加工概览页面,选择操作 > 重新执行

说明

重新执行不是从之前加工结束的位置继续运行,而是从头开始执行。如果希望从之前结束的位置继续加工,请先停止任务,然后再启动任务。

修改加工规则

说明

修改加工规则之后:

  • 如果您希望使用新的加工规则继续加工,可以先停止任务,然后再启动任务。

  • 如果您希望使用新的加工规则重新进行数据加工,请参见重新执行

  1. 数据加工概览页面,单击修改规则

  2. 根据需求,修改数据加工规则。

    关于规则语法的更多信息,请参见数据加工语法

  3. 预览数据。

    1. 单击快速

      日志服务支持快速预览和高级预览。更多信息,请参见预览调试概述

    2. 单击预览数据

    3. 查看预览结果。

      • 如果加工规则语法错误或者权限配置错误,导致数据加工失败,请根据页面提示处理。

      • 如果确认数据加工结果无误,请执行步骤4

  4. 单击修改加工配置

  5. 修改数据加工配置,然后单击确定

    相关参数说明,请参见创建数据加工任务

删除任务

警告

删除数据加工任务后,不可恢复,请谨慎删除。

如果您要删除数据加工任务,请参见如下方法。

  • 在数据加工列表中,选择目标加工任务后的更多操作 > 删除,删除当前任务。

  • 数据加工概览页面,选择操作 > 删除

设置告警

日志服务提供数据加工任务运行指标的数据加工诊断仪表盘,您可以随时查看加工任务的运行指标信息,还可以订阅仪表盘,针对仪表盘中的指标信息设置告警监控。更多信息,请参见为数据加工任务开启监控告警