本文介紹匯入Elasticsearch資料到Log Service所涉及的使用限制。
採集限制
| 限制項 | 說明 |
| 單條資料大小 | 單條資料最大為3 MB。資料大小超過限制時，該資料會被丟棄。 資料處理流量觀測儀錶盤中的寫失敗條數代表被丟棄的資料條數。如何查看，請參見查看匯入配置。 |
| 資料延遲 | 採用自動匯入增量資料模式時，最新寫入Elasticsearch的資料不會立即被匯入到Log Service，會受到資料最大延遲秒數配置項的影響。 例如設定資料最大延遲秒數為300秒，則最新寫入Elasticsearch的資料將在300秒後被匯入到Log Service。 |
配置限制
| 限制項 | 說明 |
| 資料匯入配置數量 | 單個Project允許建立的所有類型的匯入配置總數最大為100個。如果您有更大的使用需求，請提工單申請。 |
| 頻寬節流設定 | 資料匯入任務通過VPC網路讀取Elasticsearch叢集的資料時，預設支援的最大網路頻寬為128 MB/s。如果您需要更大的頻寬，請提工單申請。 |
效能限制
| 限制項 | 說明 |
| 並發任務數量 | 匯入任務採用Scroll模式拉取Elasticsearch資料，而Elasticsearch服務端存在最大支援的Scroll請求數量限制（預設500個，您可通過配置Elasticsearch叢集中的search.max_open_scroll_context進行調整），因此所有匯入任務對應的Shard總數不能超過該限制數，否則部分匯入任務將失敗。 |
| Elasticsearch服務端的能力 | Elasticsearch叢集規模越大、機器配置越好，整體吞吐能力越高。 |
| 查詢的複雜度 | 如果匯入任務中存在複雜的Elasticsearch查詢，則Elasticsearch服務端執行請求消耗的時間可能會比較長，從而影響整體的資料讀取速度。 |
| Logstore Shard數量 | Log Service的寫效能取決於目標Logstore的Shard數量（單個Shard支援5 MB/s的寫入）。當資料量較大時，建議增加目標Logstore的Shard數量。具體操作，請參見管理Shard。 |
| 網路 | 如果是VPC環境下的Elasticsearch叢集或ECS上自建的Elasticsearch叢集，您可通過VPC網路讀取資料，節省公網流量且傳輸速度快（達到100 MB/s以上的頻寬）。 採用公網匯入資料時，網路的效能和頻寬無法保障，容易出現匯入延遲問題。 |
對Elasticsearch服務端的影響
| 限制項 | 說明 |
| Search Session過多 | 匯入任務採用Scroll模式讀取Elasticsearch資料（匯入任務會為匯入索引的每個Shard建立一個Scroll請求），而Elasticsearch服務端會為每個Scroll請求保留Session資訊，這將消耗服務端一定的記憶體資源。 |
| 負載過高 | 待匯入的索引數量較多、資料集較大時，會造成Elasticsearch服務端的整體負載較高，甚至影響Elasticsearch服務的整體可用性。 如果Elasticsearch叢集負載較高，您可以提工單申請調整匯入任務的最大流量。 |