Simple Log Service：快速入門

準備工作

• 已建立名為web-project的Project。具體操作，請參見管理Project。

• 在Project（web-project）中建立名為website_log的源Logstore。具體操作，請參見管理Logstore。

• 已採集網站訪問日誌到源Logstore（website_log）。具體操作，請參見資料擷取概述。

• 在Project（web-project）中建立目標Logstore（website_fail）。

• 如果您使用的是RAM使用者，則需要先授予RAM使用者資料加工操作許可權。具體操作，請參見授予RAM使用者資料加工操作許可權。

• 已配置源Logstore和目標Logstore的索引。具體操作，請參見建立索引。

背景資訊

某網站將其所有的訪問日誌儲存在Logstore（website_log）中，目前為了提升使用者體驗，需要對使用者訪問錯誤進行分析。所以，需求是將訪問狀態代碼為4XX的訪問日誌篩選出來，同時過濾掉訪問的使用者個人資訊，並將結果寫入新的Logstore（website_fail）,提供給業務分析人員使用。日誌範例如下：

body_bytes_sent: 1061
http_user_agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/533.18.1 (KHTML, like Gecko) Version/5.0.2 Safari/533.18.5
remote_addr: 192.0.2.2
remote_user: vd_yw
request_method: GET
request_uri: /request/path-1/file-5
status: 400
time_local: 10/Jun/2021:19:10:59
error: Invalid time range

步驟一：建立資料加工任務

1. 登入Log Service控制台。

2. 進入資料加工頁面。

   1. 在Project列表地區，單擊目標Project。

   2. 在日誌儲存 > 日誌庫頁簽中，單擊目標Logstore。

   3. 在查詢與分析頁面，單擊資料加工。

3. 在頁面右上方，選擇資料的時間範圍。

   選擇時間範圍後，請確認原始日誌頁簽中存在日誌。

4. 在編輯框中，輸入如下加工SPL規則。

   *
   | extend status=cast(status as BIGINT)
   | where status>=0 AND status<500
   | project-away remote_addr, remote_user
   

5. 調試SPL規則。

   1. 從未經處理資料中選擇測試資料，或者手動填入測試資料。

   2. 點擊▷，執行調試運行。

   3. 查看預覽結果。

6. 建立資料加工任務。

   1. 單擊儲存資料加工（新版）。

   2. 在建立資料加工任務（新版）面板中，配置如下資訊，然後單擊確定。

   參數	說明
   任務名稱	資料加工任務的名稱。
   顯示名稱	資料加工顯示的名稱。
   任務描述	資料加工任務的描述。
   授權方式	您可以通過如下方式授予資料加工任務讀取源Logstore中資料的許可權。 預設角色：授予資料加工任務使用阿里雲系統角色AliyunLogETLRole來讀取源Logstore中的資料。單擊授權系統角色AliyunLogETLRole，根據頁面提示完成授權。更多資訊，請參見通過預設角色訪問資料。 重要 如果您使用的是RAM使用者，需要由阿里雲帳號先完成授權。 已完成授權的阿里雲帳號，無需再次授權。 自訂角色：授予資料加工任務使用自訂角色來讀取源Logstore中的資料。 您需先授予自訂角色讀取源Logstore資料的許可權，然後在角色ARN中輸入您自訂角色的ARN。如何授權，請參見通過自訂角色訪問資料。 密鑰：授予資料加工任務使用阿里雲帳號或RAM使用者的存取金鑰來讀取源Logstore中的資料。 阿里雲主賬戶：阿里雲帳號的存取金鑰具備源Logstore資料讀取許可權，您在AccessKey ID和AccessKey Secret中輸入阿里雲帳號的存取金鑰即可。如何擷取存取金鑰，請參見存取金鑰。 RAM使用者：您需先授予RAM使用者讀取源Logstore資料的許可權，然後在AccessKey ID和AccessKey Secret中輸入RAM使用者的存取金鑰。如何授權，請參見通過存取金鑰訪問資料。
   儲存目標
   目標名稱	儲存目標的名稱。儲存目標中包括Project、Logstore等配置。
   目標Region	選擇目標Project所在地區。 重要 資料加工（新版）目前僅支援同地區傳輸。
   目標Project	用於儲存資料加工結果的目標Project名稱。
   目標庫	用於儲存資料加工結果的目標Logstore名稱。
   授權方式	您可以通過如下方式授予資料加工任務寫目標Logstore的許可權。 預設角色：授予資料加工任務使用阿里雲系統角色AliyunLogETLRole將資料加工結果寫入目標Logstore。 單擊授權系統角色AliyunLogETLRole，根據頁面提示完成授權。更多資訊，請參見通過預設角色訪問資料。 重要 如果您使用的是RAM使用者，需要由阿里雲帳號先完成授權。 已完成授權的阿里雲帳號，無需再次授權。 自訂角色：授予資料加工任務使用自訂角色將資料加工結果寫入目標Logstore。您需先授予自訂角色寫資料到目標Logstore的許可權，然後在角色ARN中輸入您自訂角色的ARN。如何授權，請參見通過自訂角色訪問資料。 密鑰：授予資料加工任務使用阿里雲帳號或RAM使用者的存取金鑰將資料加工結果寫入目標Logstore。 阿里雲主賬戶：阿里雲帳號的存取金鑰具備寫資料到目標Logstore的許可權，您在AccessKey ID和AccessKey Secret中輸入阿里雲帳號的存取金鑰即可。如何擷取存取金鑰，請參見存取金鑰。 RAM使用者：您需先授予RAM使用者寫資料到目標Logstore的許可權，然後在AccessKey ID和AccessKey Secret中輸入RAM使用者的存取金鑰。如何授權，請參見通過存取金鑰訪問資料。
   寫入結果集	需要寫入至當前目標Logstore的SPL規則處理結果集。支援__UNNAMED__，表示所有未命名的結果集。
   加工範圍
   時間範圍 （資料接收時間）	指定資料加工任務的時間範圍，詳細說明如下： 所有：從Logstore接收到第一條日誌的時間點開始資料加工任務，直到加工任務被手動停止。 某時間開始：指定資料加工任務的開始時間，從該時間點開始加工，直到加工任務被手動停止。 特定時間範圍：指定資料加工任務的起止時間，加工任務執行到指定時間後自動停止。
   進階選項
   進階參數配置	對於加工語句中需要使用的密碼資訊（例如資料庫連接密碼），Log Service支援使用索引值對形式儲存在金鑰組中，即您可以在加工語句中通過res_local("key")進行引用。 單擊+，可添加多個索引值對。例如config.vpc.vpc_id.test1：vpc-uf6mskb0b****n9yj，表示RDS執行個體所屬的專用網路ID。

7. 進入目標Logstore（website_fail），執行查詢和分析操作。具體操作，請參見查詢和分析日誌。

步驟二：觀測資料加工任務

1. 在左側導覽列中，選擇任務管理 > 資料加工。

2. 在加工工作清單中，單擊目標加工任務。

3. 在資料加工概覽（新版）頁面，查看資料加工任務詳情。您可以查看任務詳情與狀態，修改、啟動、停止和刪除任務等。具體操作，請參見管理資料加工（新版）任務。也可以觀測任務運行狀態和運行指標，具體操作，請參見觀測與監控資料加工（新版）任務。