全部產品
Search
文件中心

Simple Log Service:關聯OSS資料來源

更新時間:Oct 25, 2024

本文介紹如何建立外部儲存,建立Log Service與OSS的關聯。

前提條件

功能優勢

與OSS進行關聯查詢分析,具有如下優勢:

  • 節省費用:將更新頻率低的資料儲存在OSS上,只需要支付少量的儲存費用,並且可以通過內網讀資料,免去流量費用。

  • 降低營運工作:在輕量級的聯合分析平台中,不需要搬遷資料到同一個儲存系統中。

  • 節省時間:使用SQL分析資料,分析結果秒級可見,並可以將常用的分析結果定義為報表,開啟即可看到結果。

操作步驟

  1. 登入Log Service控制台

  2. 在Project列表地區,單擊目標Project。

    image

  3. 在控制台左側,單擊日誌儲存,在日誌庫列表中單擊目標Logstore。

    image

  4. 輸入查詢與分析語句,單擊查詢/分析

    通過SQL定義虛擬外部表格,映射到OSS檔案。

    * | create table <External storage> (<Schema>) with (endpoint='oss-cn-${your_region_name}-internal.aliyuncs.com',accessid='<your accessid>',accesskey ='<your accesskey>',bucket='<your bucket name>',objects=ARRAY['*.csv'],type='oss')

    在查詢分析語句中定義外部儲存名稱External storage、表的Schema等資訊,並通過WITH文法指定OSS訪問資訊及檔案資訊,詳細資料如下表所示。

    配置項

    說明

    樣本

    外部儲存名稱External storage

    外部儲存名稱,即虛擬表的名稱。

    user_meta1

    表的Schema

    定義表的屬性,包括表的列名及格式。

    (userid bigint, nick varchar, gender varchar, province varchar, age bigint)

    endpoint

    OSS內網訪問網域名稱。更多資訊,請參見訪問網域名稱和資料中心

    oss-cn-hangzhou-internal.aliyuncs.com

    accessid

    阿里雲帳號AccessKey ID和AccessKey Secret。建議您使用具備Log ServiceProject寫入許可權的RAM使用者的AccessKey。授予RAM使用者向指定Project寫入資料許可權的具體操作,請參見RAM自訂授權情境。如何擷取AccessKey的具體操作,請參見存取金鑰

    LT****7V

    accesskey

    Y4****ZR

    bucket

    CSV檔案所在的OSS Bucket名稱。

    examplebucket

    objects

    CSV檔案路徑。

    說明

    objects為array類型,可以包含多個OSS檔案。

    user.csv

    type

    固定為oss,表示外部儲存類型為OSS。

    oss

    樣本命令如下所示:

    * | create table user_meta1 ( userid bigint, nick varchar, gender varchar, province varchar, age bigint) with ( endpoint='oss-cn-hangzhou.aliyuncs.com',accessid='LTAI5t8y9c113M7V****',accesskey='Y45H7bqvvgapWZR****',bucket='examplebucket',objects=ARRAY['user.csv'],type='oss')

    如果執行結果中的resulttrue,表示執行成功。

    外部儲存

  5. 驗證是否已成功定義外部儲存。

    執行如下語句,其中,External storage為步驟4中定義的外部儲存名稱。返回結果為您之前定義的表內容,則表示已成功定義外部儲存。

    * | select * from <External storage>
  6. 通過JOIN文法完成Log Service和OSS的聯集查詢。

    例如,執行如下查詢分析語句關聯Log Service中日誌的ID和OSS檔案中的userid,補全日誌資訊。

    說明

    採集的日誌中需要包含參數userid。

    * | select * from <logstore> l join <External storage> u on l.userid = u.userid

    配置項

    說明

    樣本

    Logstore

    需要查詢的Logstore的名稱。

    test_logstore

    External storage

    步驟4中定義的外部儲存名稱。

    user_meta1

    聯集查詢

關聯OSS資料來源的最佳實務請參見關聯Logstore與OSS外表進行查詢和分析

相關文檔

本文介紹了建立外部資料源OSS Bucket的步驟,如果需要修改、刪除外部資料源,請調用UpdateOssExternalStore - 更新OSS外部儲存DeleteExternalStore - 刪除外部儲存配置