全部产品
Search
文档中心

日志服务:创建数据加工任务

更新时间:Aug 28, 2024

日志服务支持您使用数据加工读取源Logstore中的数据,对数据进行加工处理后,写入到不同的目标Logstore中。您也可以对加工后的数据进行查询和分析,进一步发掘数据价值。本文介绍如何在日志服务控制台上创建数据加工任务。

前提条件

操作步骤

  1. 登录日志服务控制台

  2. 进入数据加工页面。

    1. 在Project列表区域,单击目标Project。

    2. 日志存储 > 日志库页签中,单击目标Logstore。

    3. 在查询和分析页面,单击数据加工

  3. 在页面右上角,选择数据的时间范围。

    选择时间范围后,请确认原始日志页签中存在日志。

  4. 在编辑框中,输入数据加工语句。

    加工语句的语法请参见数据加工语法

  5. 预览数据。

    1. 单击快速

      日志服务支持快速预览和高级预览。更多信息,请参见预览调试概述

    2. 单击预览数据

      查看预览结果。

      • 如果加工语句错误或者权限配置错误,导致数据加工失败,请根据页面提示处理。

      • 如果确认数据加工结果无误,请执行步骤6

  6. 创建数据加工任务。

    1. 单击保存数据加工(旧版)

    2. 创建数据加工任务面板中,配置如下信息,然后单击确定

      参数

      说明

      任务名称

      数据加工任务的名称。

      显示名称

      数据加工显示的名称。

      任务描述

      数据加工任务的描述。

      授权方式

      您可以通过如下方式授予数据加工任务读取源Logstore数据的权限。

      • 默认角色:授予数据加工任务使用阿里云系统角色AliyunLogETLRole来读取源Logstore中的数据。

      • 自定义角色:授予数据加工任务使用自定义角色来读取源Logstore中的数据。

        您需先授予自定义角色读取源Logstore数据的权限,然后在角色ARN中输入您自定义角色的ARN。如何授权,请参见通过自定义角色访问数据

      • 密钥:授予数据加工任务使用阿里云账号或RAM用户的访问密钥来读取源Logstore中的数据。

        • 阿里云账号:阿里云账号的访问密钥具备源Logstore数据读取权限,您在AccessKey IDAccessKey Secret中输入阿里云账号的访问密钥即可。如何获取访问密钥,请参见访问密钥

        • RAM用户:您需先授予RAM用户读取源Logstore数据的权限,然后在AccessKey IDAccessKey Secret中输入RAM用户的访问密钥。如何授权,请参见通过访问密钥访问数据

      存储目标

      目标名称

      存储目标的名称。存储目标中包括Project、Logstore等配置。

      日志服务支持创建多个存储目标,将数据加工结果存储到多个Logstore中,相关说明如下:

      • 您可以在数据加工语句中,使用e_output函数或e_coutput函数中的name参数定义目标名称。更多信息,请参见e_output、e_coutput

      • 如果数据加工语句中没有使用e_output函数,则默认将数据加工结果写入到第1个存储目标的Logstore中。

        如果只有1个目标Logstore,则一般无需在加工语句中使用e_output函数。

      • 如果您在e_output函数或e_coutput函数中设置了nameprojectlogstore参数,又在此处设置目标Project、目标库,最终以e_output函数或e_coutput函数中设置的为准。

      目标Region

      选择目标Project所在地域。

      跨地域数据加工使用HTTPS协议传输,确保日志数据的私密性。

      跨地域数据加工使用公网传输数据,可能因为公网传输网络的不确定性导致加工任务出现延迟。您可以选中DCDN加速复选框,加快跨地域传输速度。在使用DCDN加速时,需确保对应的Project已开启加速功能。更多信息,请参见采集加速

      说明

      跨地域数据加工按公网流量(压缩后)计费。更多信息,请参见按使用功能计费模式计费项

      目标Project

      用于存储数据加工结果的目标Project名称。

      目标库

      用于存储数据加工结果的目标Logstore名称。

      授权方式

      您可以通过如下方式授予数据加工任务写数据到目标Logstore的权限。

      • 默认角色:授予数据加工任务使用阿里云系统角色AliyunLogETLRole将数据加工结果写入目标Logstore。

      • 自定义角色:授予数据加工任务使用自定义角色将数据加工结果写入目标Logstore。

        您需先授予自定义角色写数据到目标Logstore的权限,然后在角色ARN中输入您自定义角色的ARN。如何授权,请参见通过自定义角色访问数据

      • 密钥:授予数据加工任务使用阿里云账号或RAM用户的访问密钥将数据加工结果写入目标Logstore。

        • 阿里云账号:阿里云账号的访问密钥具备写数据到目标Logstore的权限,您在AccessKey IDAccessKey Secret中输入阿里云账号的访问密钥即可。如何获取访问密钥,请参见访问密钥

        • RAM用户:您需先授予RAM用户写数据到目标Logstore的权限,然后在AccessKey IDAccessKey Secret中输入RAM用户的访问密钥。如何授权,请参见通过访问密钥访问数据

      加工范围

      时间范围

      指定数据加工任务的时间范围,详细说明如下:

      说明

      此处的时间范围依赖日志的接收时间。

      • 所有:从Logstore接收到第一条日志的时间点开始数据加工任务,直到加工任务被手动停止。

      • 某时间开始:指定数据加工任务的开始时间,从该时间点开始加工,直到加工任务被手动停止。

      • 特定时间范围:指定数据加工任务的起止时间,加工任务执行到指定时间后自动停止。

      高级选项

      高级参数配置

      对于加工语句中需要使用的密码信息(例如数据库连接密码),日志服务支持使用键值对形式保存在密钥对中,即您可以在加工语句中通过res_local("key")进行引用。

      单击+,可添加多个键值对。例如config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj,表示RDS实例所属的专有网络ID。高级参数配置

后续步骤

创建数据加工任务后,您可以执行如下操作。

  • 数据加工概览页面中,查看数据加工任务详情,修改加工任务,停止加工任务等操作。更多信息,请参见管理数据加工任务

  • 在目标Logstore中,执行查询和分析操作。具体操作,请参见查询和分析日志