本文介紹如何建立外部儲存,建立Log Service與OSS的關聯。
前提條件
功能優勢
與OSS進行關聯查詢分析,具有如下優勢:
節省費用:將更新頻率低的資料儲存在OSS上,只需要支付少量的儲存費用,並且可以通過內網讀資料,免去流量費用。
降低營運工作:在輕量級的聯合分析平台中,不需要搬遷資料到同一個儲存系統中。
節省時間:使用SQL分析資料,分析結果秒級可見,並可以將常用的分析結果定義為報表,開啟即可看到結果。
操作步驟
在Project列表地區,單擊目標Project。
在控制台左側,單擊日誌儲存,在日誌庫列表中單擊目標Logstore。
輸入查詢與分析語句,單擊查詢/分析。
通過SQL定義虛擬外部表格,映射到OSS檔案。
* | create table <External storage> (<Schema>) with (endpoint='oss-cn-${your_region_name}-internal.aliyuncs.com',accessid='<your accessid>',accesskey ='<your accesskey>',bucket='<your bucket name>',objects=ARRAY['*.csv'],type='oss')
在查詢分析語句中定義外部儲存名稱External storage、表的Schema等資訊,並通過WITH文法指定OSS訪問資訊及檔案資訊,詳細資料如下表所示。
配置項
說明
樣本
外部儲存名稱External storage
外部儲存名稱,即虛擬表的名稱。
user_meta1
表的Schema
定義表的屬性,包括表的列名及格式。
(userid bigint, nick varchar, gender varchar, province varchar, age bigint)
endpoint
OSS內網訪問網域名稱。更多資訊,請參見訪問網域名稱和資料中心。
oss-cn-hangzhou-internal.aliyuncs.com
accessid
阿里雲帳號AccessKey ID和AccessKey Secret。建議您使用具備Log ServiceProject寫入許可權的RAM使用者的AccessKey。授予RAM使用者向指定Project寫入資料許可權的具體操作,請參見RAM自訂授權情境。如何擷取AccessKey的具體操作,請參見存取金鑰。
LT****7V
accesskey
Y4****ZR
bucket
CSV檔案所在的OSS Bucket名稱。
examplebucket
objects
CSV檔案路徑。
說明objects為array類型,可以包含多個OSS檔案。
user.csv
type
固定為oss,表示外部儲存類型為OSS。
oss
樣本命令如下所示:
* | create table user_meta1 ( userid bigint, nick varchar, gender varchar, province varchar, age bigint) with ( endpoint='oss-cn-hangzhou.aliyuncs.com',accessid='LTAI5t8y9c113M7V****',accesskey='Y45H7bqvvgapWZR****',bucket='examplebucket',objects=ARRAY['user.csv'],type='oss')
如果執行結果中的result為true,表示執行成功。
驗證是否已成功定義外部儲存。
執行如下語句,其中,External storage為步驟4中定義的外部儲存名稱。返回結果為您之前定義的表內容,則表示已成功定義外部儲存。
* | select * from <External storage>
通過JOIN文法完成Log Service和OSS的聯集查詢。
例如,執行如下查詢分析語句關聯Log Service中日誌的ID和OSS檔案中的userid,補全日誌資訊。
說明採集的日誌中需要包含參數userid。
* | select * from <logstore> l join <External storage> u on l.userid = u.userid
配置項
說明
樣本
Logstore
需要查詢的Logstore的名稱。
test_logstore
External storage
步驟4中定義的外部儲存名稱。
user_meta1
關聯OSS資料來源的最佳實務請參見關聯Logstore與OSS外表進行查詢和分析。
相關文檔
本文介紹了建立外部資料源OSS Bucket的步驟,如果需要修改、刪除外部資料源,請調用UpdateOssExternalStore - 更新OSS外部儲存和DeleteExternalStore - 刪除外部儲存配置。