全部產品
Search
文件中心

Simple Log Service:CSV格式

更新時間:Jul 05, 2024

Log Service將日誌投遞到OSS後,支援儲存為不同的檔案格式。本文介紹CSV格式。

參數配置

建立OSS投遞任務(新版)時,選擇儲存格式csv,對應的參數配置如下所示。

CSV欄位配置

參數說明如下所示。更多資訊,請參見CSV標準postgresql CSV說明

參數

說明

CSV欄位

原始日誌頁簽中查看日誌欄位,將需要投遞到OSS的欄位名有序填入。

Log Service還提供保留欄位__time____topic____source__等。保留欄位的更多資訊,請參見保留欄位

說明
  • 同一個日誌欄位在CSV欄位中只能配置一次,不支援多次使用。

  • 如果您的日誌中存在同名欄位(例如都為request_time),則Log Service會將其中一個欄位名顯示為request_time_0,底層儲存的欄位名仍為request_time。因此您在投遞時,只能使用原始欄位名request_time

    存在同名欄位時,系統只隨機投遞其中一個欄位的值。請盡量避免日誌中使用同名欄位。

分隔字元

用於分割不同的日誌欄位。支援半形逗號(,)、豎線(|)、空格和定位字元。

轉義符

當欄位內出現分隔字元時,需要使用轉義符包裹該欄位,避免讀資料時造成欄位錯誤分割。

無效欄位內容

CSV欄位中指定的日誌欄位不存在時,投遞此參數中配置的內容。

投遞欄位名稱

開啟投遞欄位名稱開關後,將欄位名稱寫入到CSV檔案中。

OSS檔案地址

投遞到OSS後,OSS檔案地址範例如下所示。

說明
  • 在建立OSS投遞任務時,如果您自訂了檔案尾碼,則檔案尾碼由您自訂的尾碼決定。

  • 在建立OSS投遞任務時,如果您未自訂檔案尾碼,則檔案尾碼由壓縮類型決定。

壓縮類型

檔案尾碼

OSS檔案地址舉例

說明

無壓縮

如果您自訂了檔案尾碼,則以您的設定為準,例如.suffix。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix

未壓縮的CSV檔案可下載到本地,以文本方式開啟查看。

如果未自訂檔案尾碼,則檔案尾碼為.csv。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.csv

壓縮(snappy)

如果您自訂了檔案尾碼,則以您的設定為準,例如.suffix。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix

Snappy壓縮檔的開啟檔案,請參見開啟Snappy壓縮檔

如果未自訂檔案尾碼,則檔案尾碼為.snappy.csv。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.snappy.csv

壓縮(gzip)

如果您自訂了檔案尾碼,則以您的設定為準,例如.suffix。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix

如果使用了gzip壓縮,則您可以安裝並使用gzip命令進行解壓。

如果未自訂檔案尾碼,則檔案尾碼為.gz.csv。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.gz.csv

壓縮(zstd)

如果您自訂了檔案尾碼,則以您的設定為準,例如.suffix。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix

如果使用了zstd壓縮,則您可以安裝並使用zstd命令進行解壓。

如果未自訂檔案尾碼,則檔案尾碼為.zst.csv。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.zst.csv