全部產品
Search
文件中心

ApsaraDB for ClickHouse:從SLS同步

更新時間:Jun 30, 2024

本文介紹如何使用日誌投遞功能從Log Service(SLS)同步資料到雲資料庫ClickHouse。

注意事項

  • 雲資料庫ClickHouse的企業版叢集和在2021年12月份之後建立的社區相容版叢集不支援日誌投遞功能。

  • 雲資料庫ClickHouse目前不支援數群組類型的資料。支援的資料類型,具體請參見資料類型

  • SLS服務為付費服務。計費詳情,請參見計費概述

  • 請確保SLS的Project與您的雲資料庫ClickHouse叢集在同一地區。

前提條件

  • 已開通SLS服務。如何開通,請參見開通Log Service

  • 已在雲資料庫ClickHouse叢集所在地區建立SLS的Project和Logstore,並接入了同步資料。如何建立和接入資料,請參見快速入門

  • 如果使用RAM使用者投遞SLS日誌到雲資料庫ClickHouse,需要阿里雲主帳號為RAM使用者授予AliyunLogReadOnlyAccess許可權。如何授權,請參見建立RAM使用者及授權

  • 已建立與SLS資料結構和類型對應的雲資料庫ClickHouse表。如何建立,請參見建立表

操作步驟

  1. 登入雲資料庫ClickHouse控制台

  2. 在叢集列表頁面,選擇預設執行個體列表,單擊目的地組群ID。

  3. 在左側導航選擇日誌投遞,單擊建立SLS日誌投遞。

  4. SLS資料投遞頁面,配置各項參數。參數含義如下。

    參數

    說明

    投遞名稱

    投遞任務的名稱。

    投遞描述

    投遞任務的描述。

    SLS名稱

    已建立的Project名稱。

    SLS日誌庫

    已建立的Logstore名稱。

    叢集名稱

    雲資料庫ClickHouse的叢集ID。

    資料庫名稱

    資料庫。

    表名

    資料庫中的表名。

    帳號名稱

    資料庫帳號。

    帳號密碼

    資料庫帳號的密碼。

    欄位對應

    日誌欄位和雲資料庫ClickHouse表欄位的映射。

    投遞開始時間

    日誌寫入SLS的時間。例如,選擇時間為2021-12-31 08:00,即把2021-12-31 08:00之後的日誌資料投遞到雲資料庫ClickHouse。

    否過濾髒資料

    是否對髒資料進行過濾。建議開啟開關,如果關閉,遇到無法解析的髒資料,會導致投遞任務失敗。

    說明

    具體的髒資料記錄,您可以單擊投遞任務操作列的監控查看。

  5. 單擊確定

  6. 成功配置SLS資料投遞後,您可以在日誌投遞頁面查看投遞任務。

任務狀態從待同步變更為同步中後,即成功開啟SLS日誌投遞。

1640853124192_D05EE700-A6BE-4ab0-9964-B6F73805863A

說明

您可以對投遞任務進行監控修改停止刪除操作。