全部產品
Search
文件中心

Simple Log Service:建立資料加工任務

更新時間:Aug 27, 2024

Log Service支援您使用資料加工讀取源Logstore中的資料,對資料進行加工處理後,寫入到不同的目標Logstore中。您也可以對加工後的資料進行查詢和分析,進一步發掘資料價值。本文介紹如何在Log Service控制台上建立資料加工任務。

前提條件

操作步驟

  1. 登入Log Service控制台

  2. 進入資料加工頁面。

    1. 在Project列表地區,單擊目標Project。

    2. 日誌儲存 > 日誌庫頁簽中,單擊目標Logstore。

    3. 在查詢和分析頁面,單擊資料加工

  3. 在頁面右上方,選擇資料的時間範圍。

    選擇時間範圍後,請確認原始日誌頁簽中存在日誌。

  4. 在編輯框中,輸入資料加工語句。

    加工語句的文法請參見資料加工文法

  5. 預覽資料。

    1. 單擊快速

      Log Service支援快速預覽和進階預覽。更多資訊,請參見預覽調試概述

    2. 單擊預覽資料

      查看預覽結果。

      • 如果加工語句錯誤或者許可權配置錯誤,導致資料加工失敗,請根據頁面提示處理。

      • 如果確認資料加工結果無誤,請執行步驟6

  6. 建立資料加工任務。

    1. 單擊儲存資料加工(舊版)

    2. 建立資料加工任務面板中,配置如下資訊,然後單擊確定

      參數

      說明

      任務名稱

      資料加工任務的名稱。

      顯示名稱

      資料加工顯示的名稱。

      任務描述

      資料加工任務的描述。

      授權方式

      您可以通過如下方式授予資料加工任務讀取源Logstore資料的許可權。

      • 預設角色:授予資料加工任務使用阿里雲系統角色AliyunLogETLRole來讀取源Logstore中的資料。

      • 自訂角色:授予資料加工任務使用自訂角色來讀取源Logstore中的資料。

        您需先授予自訂角色讀取源Logstore資料的許可權,然後在角色ARN中輸入您自訂角色的ARN。如何授權,請參見通過自訂角色訪問資料

      • 密鑰:授予資料加工任務使用阿里雲帳號或RAM使用者的存取金鑰來讀取源Logstore中的資料。

        • 阿里雲帳號:阿里雲帳號的存取金鑰具備源Logstore資料讀取許可權,您在AccessKey IDAccessKey Secret中輸入阿里雲帳號的存取金鑰即可。如何擷取存取金鑰,請參見存取金鑰

        • RAM使用者:您需先授予RAM使用者讀取源Logstore資料的許可權,然後在AccessKey IDAccessKey Secret中輸入RAM使用者的存取金鑰。如何授權,請參見通過存取金鑰訪問資料

      儲存目標

      目標名稱

      儲存目標的名稱。儲存目標中包括Project、Logstore等配置。

      Log Service支援建立多個儲存目標,將資料加工結果儲存到多個Logstore中,相關說明如下:

      • 您可以在資料加工語句中,使用e_output函數或e_coutput函數中的name參數定義目標名稱。更多資訊,請參見e_output、e_coutput

      • 如果資料加工語句中沒有使用e_output函數,則預設將資料加工結果寫入到第1個儲存目標的Logstore中。

        如果只有1個目標Logstore,則一般無需在加工語句中使用e_output函數。

      • 如果您在e_output函數或e_coutput函數中設定了nameprojectlogstore參數,又在此處設定目標Project、目標庫,最終以e_output函數或e_coutput函數中設定的為準。

      目標Region

      選擇目標Project所在地區。

      跨地區資料加工使用HTTPS協議傳輸,確保日誌資料的私密性。

      跨地區資料加工使用公網傳輸資料,可能因為公網傳輸網路的不確定性導致加工任務出現延遲。您可以選中DCDN加速複選框,加快跨地區傳輸速度。在使用DCDN加速時,需確保對應的Project已開啟加速功能。更多資訊,請參見採集加速

      說明

      跨地區資料加工按公網流量(壓縮後)計費。更多資訊,請參見按使用功能計費模式計費項目

      目標Project

      用於儲存資料加工結果的目標Project名稱。

      目標庫

      用於儲存資料加工結果的目標Logstore名稱。

      授權方式

      您可以通過如下方式授予資料加工任務寫資料到目標Logstore的許可權。

      • 預設角色:授予資料加工任務使用阿里雲系統角色AliyunLogETLRole將資料加工結果寫入目標Logstore。

      • 自訂角色:授予資料加工任務使用自訂角色將資料加工結果寫入目標Logstore。

        您需先授予自訂角色寫資料到目標Logstore的許可權,然後在角色ARN中輸入您自訂角色的ARN。如何授權,請參見通過自訂角色訪問資料

      • 密鑰:授予資料加工任務使用阿里雲帳號或RAM使用者的存取金鑰將資料加工結果寫入目標Logstore。

        • 阿里雲帳號:阿里雲帳號的存取金鑰具備寫資料到目標Logstore的許可權,您在AccessKey IDAccessKey Secret中輸入阿里雲帳號的存取金鑰即可。如何擷取存取金鑰,請參見存取金鑰

        • RAM使用者:您需先授予RAM使用者寫資料到目標Logstore的許可權,然後在AccessKey IDAccessKey Secret中輸入RAM使用者的存取金鑰。如何授權,請參見通過存取金鑰訪問資料

      加工範圍

      時間範圍

      指定資料加工任務的時間範圍,詳細說明如下:

      說明

      此處的時間範圍依賴日誌的接收時間。

      • 所有:從Logstore接收到第一條日誌的時間點開始資料加工任務,直到加工任務被手動停止。

      • 某時間開始:指定資料加工任務的開始時間,從該時間點開始加工,直到加工任務被手動停止。

      • 特定時間範圍:指定資料加工任務的起止時間,加工任務執行到指定時間後自動停止。

      進階選項

      進階參數配置

      對於加工語句中需要使用的密碼資訊(例如資料庫連接密碼),Log Service支援使用索引值對形式儲存在金鑰組中,即您可以在加工語句中通過res_local("key")進行引用。

      單擊+,可添加多個索引值對。例如config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj,表示RDS執行個體所屬的專用網路ID。進階參數配置

後續步驟

建立資料加工任務後,您可以執行如下操作。

  • 資料加工概覽頁面中,查看資料加工任務詳情,修改加工任務,停止加工任務等操作。更多資訊,請參見管理資料加工任務

  • 在目標Logstore中,執行查詢和分析操作。具體操作,請參見查詢和分析日誌