全部產品

Simple Log Service：匯入OSS資料

更新時間：Jun 30, 2024

本文介紹匯入OSS資料到Log Service所涉及的使用限制。

採集限制

限制項	說明
單個檔案大小	如果是Snappy壓縮格式的檔案（非Framing-format格式），最大支援350 MB。如果是其他格式的檔案，最大支援5 GB。單個檔案大小超過限制時，匯入任務會忽略整個檔案。
單條資料大小	單條資料最大為3 MB。資料大小超過限制時，該資料會被丟棄。資料處理流量觀測儀錶盤中的寫失敗條數代表被丟棄的資料條數。如何查看，請參見相關操作。
檔案更新	針對更新過的OSS檔案，資料匯入任務會重新進行全量匯入。即之前已匯入過的檔案，又追加了部分內容，那麼這個檔案中資料將再次被全部匯入。
新檔案發現延遲	發現新檔案的最小間隔支援設定為1分鐘。當待匯入的檔案特別多時，可能存在更多延遲。

配置限制

限制項	說明
資料匯入配置數量	單個Project允許建立的所有類型的匯入配置總數最多為100個。如果您有更大的使用需求，請提工單申請。

效能限制

限制項	說明
並發子任務數量	Log Service後台會自動根據待匯入的檔案數量，建立多個匯入子任務進行並發匯入。每個匯入配置預設最多產生8個子任務，每個子任務最大支援10 MB/s的處理速度（針對解壓後的資料），即預設情況下，匯入任務支援最大80 MB/s的處理速度。如果您有更大的使用需求，請提工單申請。
Logstore Shard數量	Log Service的寫效能取決於目標Logstore的Shard數量（單個Shard支援5 MB/s的寫入）。當資料量較大時，建議增加目標Logstore的Shard數量。具體操作，請參見管理Shard。
歸檔檔案的讀取	如果待匯入的檔案是歸檔類型，則需要解凍後才能被讀取。一般情況下，解凍一個檔案大約需要1分鐘。
檔案大小	相同資料總量的情況下，平均檔案大小越大，讀取吞吐越高。反之，小檔案越多，讀取吞吐越低。
網路	如果OSS Bucket和Log ServiceProject處於同一地區，可節省公網流量且傳輸速度快。跨地區匯入時，讀取OSS檔案受網路影響較大，效能相對較差。
新資料匯入延遲	當存量檔案較多時，如果您未開啟使用OSS中繼資料索引配置，則可能無法按照新檔案的檢查周期對新檔案進行採集。存在100萬左右的存量檔案時，新檔案採集的延遲時間大約為2分鐘。其他數量的存量檔案，可依次進行線性類推。