Simple Log Service：複製和分發資料

情境說明

某資料分析公司需要將Logstore中的每一條資料進行複製，並根據內容分別分發到兩個Logstore。對此需求，可通過Log Service資料加工的複製和分發功能完成，包括使用e_set函數設定tags標籤，並使用e_split函數按照tags標籤將資料分裂，再使用e_output函數分發到不同Logstore。其基本邏輯如下圖所示。在操作前，確保您已完成如下操作。

• 已完成target-a、target-b的效能評估和規劃。例如評估Shard數量。更多資訊，請參見效能指南。

• 已建立target-a、logstore-a、target-b和logstore-b。更多資訊，請參見管理Project和管理Logstore。

操作步驟

1. 登入Log Service控制台。

2. 在Project列表地區，單擊目標Project。

   

3. 在控制台左側，單擊日誌儲存，在日誌庫列表中單擊目標Logstore。

   

4. 在查詢和分析頁面的左上方單擊資料加工，進入資料加工模式。

   

5. 在資料加工編輯框中，輸入如下加工語句。

   e_set("tags", "target-a,target-b")
   e_split("tags")
   e_if(op_eq(v("tags"), "target-a"), e_output("target-a"))
   e_if(op_eq(v("tags"), "target-b"), e_output("target-b"))
   e_drop()

   • 通過e_set函數為原始日誌設定target-a和target-b標籤。更多資訊，請參見e_set。

   • 通過e_split函數將日誌資料進行分裂。更多資訊，請參見e_split。

   • 通過e_output函數將日誌分發到target-a和target-b。更多資訊，請參見e_output。

   • e_drop()表示將不滿足條件的日誌丟棄，不進行分發。更多資訊，請參見e_drop。

6. 單擊預覽資料。

   您可以看到原始日誌已增加tags標籤，並且tags為target-a的資料將被分發到target-a，tags為target-b的資料將被分發到target-b。

7. 單擊儲存資料加工。

8. 在建立資料加工任務面板，配置如下參數。

   1. 配置基本資料。

      參數	說明
      任務名稱	資料加工任務的名稱。輸入test。
      授權方式	授予Log Service讀取源日誌庫中資料的許可權。以預設角色為例，選擇預設角色。

   2. 配置target-a儲存目標。

      參數	說明
      目標名稱	儲存目標名稱。輸入target-a。
      目標Region	目標Project所在地區。選擇華東1（杭州）。
      目標Project	target-a所屬的Project名稱。輸入target-a。
      目標庫	Logstore名稱。輸入logstore-a。
      授權方式	授予Log Service讀寫target-a的許可權。 以預設角色為例，選擇預設角色。

   3. 配置target-b儲存目標。

      參數	說明
      目標名稱	儲存目標名稱。輸入target-b。
      目標Region	目標Project所在地區。選擇華東1（杭州）。
      目標Project	target-b所屬的Project名稱。輸入target-b。
      目標庫	Logstore名稱。輸入logstore-b。
      授權方式	授予Log Service讀寫target-b的許可權。 以預設角色為例，選擇預設角色。

   4. 配置加工時間範圍。

      參數	說明
      時間範圍	加工的時間範圍。 選擇所有，即表示對Logstore中的資料從開始時間持續加工。

9. 單擊確定。