Simple Log Service：匯入MySQL資料

使用限制

• 目前支援：華東1（杭州）、華東2（上海）、華北1（青島）、華北2（北京）、華北3（張家口）、華北5（呼和浩特）、華北6（烏蘭察布）、西南1（成都）、華南1（深圳）、華南2（河源）、華南3（廣州）、中國（香港）、新加坡、澳大利亞（雪梨）關停中、馬來西亞（吉隆坡）、印尼（雅加達）、菲律賓（馬尼拉）、泰國（曼穀）、日本（東京）、韓國（首爾）、英國（倫敦）、德國（法蘭克福）、美國（維吉尼亞）、美國（矽谷）地區。

• 如果匯入源為雲原生資料倉儲AnalyticDB MySQL, 對於JSON類型欄位需要轉換為VARCHAR類型後進行匯入，例如detail欄位為JSON類型，可以使用cast(detail as VARCHAR) as detail進行轉換。關於CAST函數，請參見CAST函數。

匯入資料

1. 登入Log Service控制台。

2. 在Project列表地區，單擊目標Project。

   

3. 在日誌儲存 > 日誌庫頁簽中，單擊目標Logstore左側的>，然後將滑鼠懸浮在資料接入 > 資料匯入上，單擊+。

   

4. 在快速資料接入對話方塊，搜尋並單擊MySQL-資料匯入。

5. 設定匯入配置。

   1. 在資料來源設定中，配置如下參數。

      基礎參數

      參數	說明
      任務名稱	SLS任務的唯一名稱。
      顯示名稱	任務顯示名稱。
      任務描述	匯入任務的描述。
      使用VPC地址	Virtual Private Cloud下的RDS MySQL資料庫 選中使用VPC地址和RDS執行個體，並設定如下參數。 VPC執行個體ID：RDS MySQL資料庫所屬VPC的ID。 RDS執行個體ID：需配置為RDS執行個體的VpcCloudInstanceId。您可以通過調用查詢執行個體詳情介面擷取VpcCloudInstanceId。 Virtual Private Cloud下自建的MySQL資料庫 選中使用VPC地址和ECS自建資料庫，並設定如下參數。 VPC執行個體ID：ECS執行個體所屬VPC的ID。 ECS執行個體IP：ECS執行個體的私網IP地址。 公網環境下的資料庫 取消選中使用VPC地址，並設定如下參數。 資料庫公網IP或者網域名稱：MySQL資料庫的公網IP地址或者網域名稱。
      MySQL連接埠	MySQL資料庫的服務連接埠，預設為3306。
      使用者名稱	用於登入MySQL資料庫的帳號名稱。 建議只授予該帳號讀取MySQL資料的許可權。
      密碼	帳號密碼。
      資料庫	MySQL資料庫名稱。
      查詢語句	您可以使用SELECT語句或SHOW語句。如果使用SHOW語句，則不支援在進階配置中設定分頁大小參數。 支援使用半形問號（?）表示替換符，與CheckPoint欄位配合使用。例如查詢語句為SELECT * FROM employees WHERE id > ?，則您可以設定CheckPoint欄位為id，CheckPoint欄位起始值為0。每次匯入任務執行後，系統會儲存最後一條資料的ID作為Checkpoint，下次任務執行時查詢語句中的半形問號（?）將被替換為該Checkpoint對應的ID值。

      進階參數

      參數	說明
      每次匯入最大行數	MySQL匯入任務定時執行，您可以設定每次匯入的最大行數。預設為0，表示不限制最大行數。
      連線逾時設定	MySQL匯入任務串連MySQL資料庫的逾時設定，預設值為3000 ms。
      查詢逾時設定	MySQL匯入任務查詢MySQL資料庫的逾時設定，預設值為5000 ms。
      分頁大小	分頁大小為0，表示不分頁。大於0時，系統將在SELECT語句後面加上limit pageSize offset {checkpoint}，在一次匯入任務中，多次分頁匯入資料。
      時間欄位	MySQL資料中代表時間的欄位，例如create_time或者update_time等。在Log Service中將使用該時間欄位的值為資料的匯入時間。
      時間欄位格式	時間欄位的格式，支援Java類型時間格式。例如yyyy-MM-dd HH:mm:ss。更多資訊，請參見時間格式。
      時間欄位時區	選擇時間欄位對應的時區。
      CheckPoint欄位	選擇Checkpoint欄位，作為下次匯入資料的起點。例如查詢語句為select * from t where id > ?，其中id為自增欄位，則您可以將id作為Checkpoint欄位。 您也可以使用create_time、update_time等欄位。 說明 如果您未在SQL語句中設定查詢時間範圍，那麼建議您設定CheckPoint欄位，用於匯入增量資料，避免資料重複採集。
      CheckPoint欄位起始值	設定CheckPoint欄位的起始值。
      附加欄位	添加附加欄位，格式為map[string]string。例如查詢語句為select a, b from t；，系統預設匯入兩個欄位a、b，您可以添加其他欄位匯入到Log Service，例如{"k1": "v1", "k2": "v2"}。

   2. 單擊預覽，預覽匯入結果。確認無誤後，單擊下個配置。

   3. 在調度間隔頁簽中，配置如下參數。

      參數	說明
      匯入間隔	匯入MySQL資料到Log Service的時間間隔。
      立即執行	開啟立即執行，則立即執行一次匯入操作。

   4. 配置完成後，單擊下一步。

6. 建立索引和預覽資料，然後單擊下一步。Log Service預設開啟全文索引。您也可以根據採集到的日誌，手動建立欄位索引，或者單擊自動產生索引，Log Service將自動產生欄位索引。更多資訊，請參見建立索引。

   重要

   如果需要查詢日誌中的所有欄位，建議使用全文索引。如果只需查詢部分欄位、建議使用欄位索引，減少索引流量。如果需要對欄位進行分析（SELECT語句），必須建立欄位索引。

7. 您需要等待1分鐘左右，待索引生效後，才能在原始日誌頁簽中，查看已採集到的日誌。查詢和分析日誌的詳細步驟，請參見查詢和分析日誌。

查看匯入配置和統計報表

建立匯入配置成功後，您可以在控制台中查看已建立的匯入配置及產生的統計報表。

1. 單擊目標Project。

2. 選擇目標日誌庫下的資料接入 > 資料匯入，單擊目標匯入配置。

   

3. 在匯入配置概覽頁面，查看匯入配置的基本資料和統計報表。

相關操作

在匯入配置概覽頁面，您還可以進行如下操作。

• 修改配置

  單擊修改配置，修改匯入配置的相關配置，具體配置說明請參見匯入資料。

• 刪除配置

  單擊刪除配置，刪除該匯入配置。

  警告

  刪除後不可恢複，請謹慎操作。