全部產品
Search
文件中心

Simple Log Service:進階預覽

更新時間:Jul 26, 2024

進階預覽時,Log Service真實串連Logstore,並從Logstore讀取資料完成加工測試,類比完整的資料加工流程。本文介紹進階預覽的操作步驟及樣本。

操作步驟

  1. 登入Log Service控制台

  2. 進入資料加工頁面。

    1. 在Project列表地區,單擊目標Project。

    2. 日誌儲存 > 日誌庫頁簽中,單擊目標Logstore。

    3. 在查詢和分析頁面,單擊資料加工

  3. 在頁面右上方,選擇資料的時間範圍。

    選擇時間範圍後,請確認原始日誌頁簽中存在日誌。

  4. 在編輯框中,輸入資料加工語句。
    加工語句的文法請參見資料加工文法
    說明 編輯框中的加工語句支援注釋,您可以使用此功能逐行調試。
  5. 預覽資料。

    1. 在頁面右上方,單擊進階

    2. 單擊預覽資料

    3. 添加預覽配置頁面,配置如下參數,然後單擊確定

      首次預覽資料時,需配置如下參數。後續可通過單擊修改預覽配置,修改如下參數。

      參數

      說明

      授權方式

      您可以通過如下方式授予資料加工任務讀取源Logstore資料的許可權。

      • 預設角色:授予資料加工任務使用阿里雲系統角色AliyunLogETLRole來讀取源Logstore中的資料。

      • 自訂角色:授予資料加工任務使用自訂角色來讀取源Logstore中的資料。

        您需先授予自訂角色讀取源Logstore資料的許可權,然後在角色ARN中輸入您自訂角色的ARN。如何授權,請參見通過自訂角色訪問資料

      • 密鑰:授予資料加工任務使用阿里雲帳號或RAM使用者的存取金鑰來讀取源Logstore中的資料。

        • 阿里雲帳號:阿里雲帳號的存取金鑰具備源Logstore資料讀取許可權,您在AccessKey IDAccessKey Secret中輸入阿里雲帳號的存取金鑰即可。如何擷取存取金鑰,請參見存取金鑰

        • RAM使用者:您需先授予RAM使用者讀取源Logstore資料的許可權,然後在AccessKey IDAccessKey Secret中輸入RAM使用者的存取金鑰。如何授權,請參見通過存取金鑰訪問資料

      進階參數配置

      對於加工語句中需要使用的密碼資訊(例如資料庫連接密碼),Log Service支援使用索引值對形式儲存在金鑰組中,即您可以在加工語句中通過變數${key}進行引用。

      單擊+,可添加多個索引值對。例如config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj,表示RDS執行個體所屬的專用網路ID。進階參數配置

      完成預覽設定後,您可以在加工結果頁簽中查看預覽結果。

      • 如果加工語句錯誤或者許可權配置錯誤,導致資料加工失敗,請根據頁面提示處理。

      • 如果確認資料加工結果無誤,可儲存加工結果。具體操作,請參見建立資料加工任務

樣本

  • 加工語句

    # e_set("insert_field", "test_value")
    e_table_map(
        res_rds_mysql(
            address="rm-uf6wjk5****.mysql.rds.aliyuncs.com",
            username="test_username",
            password="****",
            database="test_db",
            table="test_table",
        ),
        "ip",
        ["country", "province"],
    )
  • 原始日誌

    {
      "__source__": "192.0.2.0",
      "__time__": 1624523917,
      "__topic__": "topic",
      "id": "1001",
      "ip": "127.0.0.1"
    }
  • 進階預覽設定進階預覽

  • 加工結果加工結果