如何建立外部儲存保並建立Log Service與OSS的關聯 - Simple Log Service

本文介紹如何建立外部儲存，建立Log Service與OSS的關聯。

前提條件

已採集日誌。更多資訊，請參見資料擷取。
已開啟並配置索引。更多資訊，請參見建立索引。
已建立OSS Bucket。更多資訊，請參見控制台建立儲存空間。
已上傳CSV格式檔案到OSS Bucket。更多資訊，請參見控制台上傳檔案。

功能優勢

與OSS進行關聯查詢分析，具有如下優勢：

節省費用：將更新頻率低的資料儲存在OSS上，只需要支付少量的儲存費用，並且可以通過內網讀資料，免去流量費用。
降低營運工作：在輕量級的聯合分析平台中，不需要搬遷資料到同一個儲存系統中。
節省時間：使用SQL分析資料，分析結果秒級可見，並可以將常用的分析結果定義為報表，開啟即可看到結果。

操作步驟

登入Log Service控制台。
在Project列表地區，單擊目標Project。
在控制台左側，單擊日誌儲存，在日誌庫列表中單擊目標Logstore。

輸入查詢與分析語句，單擊查詢/分析。

通過SQL定義虛擬外部表格，映射到OSS檔案。

* | create table <External storage> (<Schema>) with (endpoint='oss-cn-${your_region_name}-internal.aliyuncs.com',accessid='<your accessid>',accesskey ='<your accesskey>',bucket='<your bucket name>',objects=ARRAY['*.csv'],type='oss')

在查詢分析語句中定義外部儲存名稱External storage、表的Schema等資訊，並通過WITH文法指定OSS訪問資訊及檔案資訊，詳細資料如下表所示。

配置項	說明	樣本
外部儲存名稱External storage	外部儲存名稱，即虛擬表的名稱。	user_meta1
表的Schema	定義表的屬性，包括表的列名及格式。	(userid bigint, nick varchar, gender varchar, province varchar, age bigint)
endpoint	OSS內網訪問網域名稱。更多資訊，請參見訪問網域名稱和資料中心。	oss-cn-hangzhou-internal.aliyuncs.com
accessid	阿里雲帳號AccessKey ID和AccessKey Secret。建議您使用具備Log ServiceProject寫入許可權的RAM使用者的AccessKey。授予RAM使用者向指定Project寫入資料許可權的具體操作，請參見RAM自訂授權情境。如何擷取AccessKey的具體操作，請參見存取金鑰。	LT****7V
accesskey		Y4****ZR
bucket	CSV檔案所在的OSS Bucket名稱。	examplebucket
objects	CSV檔案路徑。說明 objects為array類型，可以包含多個OSS檔案。	user.csv
type	固定為oss，表示外部儲存類型為OSS。	oss

樣本命令如下所示：

* | create table user_meta1 ( userid bigint, nick varchar, gender varchar, province varchar, age bigint) with ( endpoint='oss-cn-hangzhou.aliyuncs.com',accessid='LTAI5t8y9c113M7V****',accesskey='Y45H7bqvvgapWZR****',bucket='examplebucket',objects=ARRAY['user.csv'],type='oss')

如果執行結果中的result為true，表示執行成功。

外部儲存

驗證是否已成功定義外部儲存。
執行如下語句，其中，External storage為步驟4中定義的外部儲存名稱。返回結果為您之前定義的表內容，則表示已成功定義外部儲存。
```
* | select * from <External storage>
```
通過JOIN文法完成Log Service和OSS的聯集查詢。
例如，執行如下查詢分析語句關聯Log Service中日誌的ID和OSS檔案中的userid，補全日誌資訊。
說明
採集的日誌中需要包含參數userid。
```
* | select * from <logstore> l join <External storage> u on l.userid = u.userid
```
配置項
說明
樣本
Logstore
需要查詢的Logstore的名稱。
test_logstore
External storage
步驟4中定義的外部儲存名稱。
user_meta1

關聯OSS資料來源的最佳實務請參見關聯Logstore與OSS外表進行查詢和分析。

配置項	說明	樣本
Logstore	需要查詢的Logstore的名稱。	test_logstore
External storage	步驟4中定義的外部儲存名稱。	user_meta1