隨著AI、資料倉儲、巨量資料分析等業務發展,越來越多運行在OSS上的業務對於資料的訪問延遲和輸送量有了更高的要求。OSS推出加速器功能,可以將OSS中的熱點檔案(Object)緩衝在NVMe SSD高效能儲存介質上,提供毫秒級低延遲和高輸送量的資料訪問服務。
功能優勢
低延遲
OSS加速器的NVMe SSD介質可以為業務提供毫秒級的下載延遲。對於推理模型下載,數倉熱資料查詢有較好的效果。
高吞吐密度
加速器提供最高2.4 Gbps/TB的讀取頻寬,為少量資料提供極大的吞吐能力,可以滿足少量熱資料的突發讀取需求。
高吞吐能力
加速器的頻寬隨容量大小線性增長,並提供高達百GB/s的突發吞吐能力。
Auto Scaling
計算任務通常是週期性任務,每個任務所需資源存在差異。加速器可根據您的需求進行線上擴容或縮容,可有效避免資源浪費,降低您的使用成本。加速器支援最低50 GB,最大百TB的緩衝空間。OSS加速器繼承了OSS海量資料存放區的優點,支援直接緩衝數倉中的多個表或者分區。
存算分離
OSS加速器相較於計算服務器上的緩衝空間,可以脫離計算服務器獨立且線上調整空間和效能。
資料一致
加速器提供了傳統緩衝方案不具備的OSS資料強一致性。當OSS上的檔案被更新時,加速器能自動識別並緩衝更新後的檔案,以確保計算引擎讀取的都是更新後的資料。
多種預熱策略
OSS加速器能夠自動識別OSS上更新的檔案,確保引擎讀取到最新資料。OSS加速器提供以下預熱策略。
讀時預熱:在加速器中讀取資料時未命中,則會自動回源到標準OSS,擷取到資料,並將其存放到加速器中。
同步預熱:資料寫入OSS時,將資料同步緩衝至加速器空間。
非同步預熱:通過配置,將OSS中資料批量緩衝至加速器空間。
說明讀時預熱預設開啟且不可配置。
同步預熱和非同步預熱需手動設定開啟,兩種功能可同時使用。
工作原理
加速器建立完成後會擁有一個地區專屬的內網加速網域名稱,並且此網域名稱只能通過內網訪問,不支援公網訪問。例如華北2(北京)地區的加速網域名稱為http://cn-beijing-internal.oss-data-acc.aliyuncs.com
。當您與加速器在同一Virtual Private Cloud時,您可以通過加速網域名稱訪問加速器內的資源,流程如下。
寫請求
讀時預熱:用戶端向加速網域名稱發送的寫請求會直接轉寄至OSS Bucket,流程與使用OSS預設網域名稱一致。
同步預熱:用戶端向加速網域名稱發送的寫請求會直接轉寄至OSS Bucket和OSS加速器。
非同步預熱:將需要預熱的資料在訪問請求開始前,提前寫入OSS加速器。
同步+非同步預熱:請求會直接轉寄至OSS Bucket和OSS加速器。並且在訪問請求開始前,可以提前將熱資料寫入OSS加速器。
讀請求
說明各種預熱策略下的讀請求方式一致。
用戶端向加速網域名稱發送的讀請求會被轉寄給OSS加速器。
加速器在收到讀請求後會在緩衝空間內尋找目標檔案:
若緩衝空間存在目標檔案,則檔案直接返回給用戶端。
若緩衝空間沒有目標檔案,加速器會向綁定的OSS請求目標檔案。OSS在收到請求後,會將目標檔案緩衝到加速器中,加速器將檔案返回給用戶端。
當加速器緩衝已滿後,加速器會根據快取檔案的熱度將低熱度的檔案替換為高熱度檔案。
使用情境
OSS加速器適用於需要大量頻寬,且資料重複讀的情境。具體情境如下:
低時延資料共用
需求背景
客戶在貨柜上購買物品,先通過手機App掃描貨櫃的貨物拍照上傳,應用後端接收到圖片後通過OSS加速器進行儲存。背景子系統隨後進行Alibaba Content Security Service分析和圖片上條碼的識別,條碼識別後的結果反饋到應用後端進行計費等操作。下載圖片要求毫秒級完成。
解決方案
採用OSS加速器寫時預熱的模式。使用OSS加速器可以有效降低分析系統載入圖片的延時情況,縮短交易鏈路。OSS加速器適合對延時敏感,多次重複讀的業務。
模型推理
需求背景
AIGC模型推理需要拉取載入模型檔案,在推理的調試過程中,還需要不斷切換新的模型檔案進行嘗試。隨著模型檔案的不斷增大,推理伺服器拉模數型檔案所需時間會越來越長。
解決方案
採用OSS加速器非同步預熱或者讀時預熱模式。OSS非同步預熱模式適用於明確知曉熱點模型檔案範圍的情境,讀時預熱適用於不確定模型檔案範圍的情境。如果您知曉熱點模型檔案的列表,可以配置相應的加速器空間,並通過加速器SDK將指定的OSS檔案提前放入加速器空間中。您也可以根據經驗配置一定大小的加速器空間,加速器會在資料讀取時自動快取檔案至加速器高效能介質中,供下次讀取時快速存取。加速器的空間可根據加速效果隨時進行擴縮調整。如果您的推理程式需要通過本地目錄方式訪問OSS,您需要部署ossfs。
巨量資料分析
需求背景
公司的業務資料按天進行分區,歸檔到OSS作為長期資料進行儲存。分析人員使用Hive或Spark等計算引擎對資料進行分析,但不確定查詢範圍。分析人員要求盡量減少查詢分析時間。
解決方案
使用OSS加速器讀時預熱的模式。該模式適用於離線查詢情境下資料量大,且不確定資料查詢範圍,無法準確預熱的情境。例如,分析人員A查詢的資料,資料會緩衝在加速叢集。而分析人員B查詢的資料包含分析人員A查詢的資料,從而加快資料分析進度。
多級加速
需求背景
用戶端緩衝和服務端加速並不衝突,希望根據業務情況能夠達到多級加速的效果。
解決方案
OSS加速器與用戶端緩衝搭配使用。推薦Alluxio與計算叢集共置部署。當讀取的資料未命中Alluxio緩衝時,會從後端儲存來讀取資料。對於OSS加速器,採用讀時預熱,並在第一次擷取資料時進行預熱。由於用戶端主機緩衝空間的限制,Alluxio中每個檔案和目錄都會設定TTL。當TTL到期後緩衝會被淘汰,以便節約空間。此時,OSS加速器中的資料並不會馬上淘汰,其緩衝空間可以存放數百TB的資料。當再次讀取Alluxio中未命中的資料時,可以直接從OSS加速器載入,實現兩級加速。
指標說明
指標 | 說明 |
容量 |
如果您的業務情境需要更高的容量,請提交工單申請提升容量。 |
加速器寬頻 | 加速器根據配置的空間大小,為加速器上緩衝的資料提供吞吐頻寬。每TB的加速器空間提供2.4 Gbps的最大頻寬。加速器提供的吞吐頻寬為OSS標準頻寬之外的效能,不受OSS標準頻寬能力限制。關於OSS標準頻寬節流設定說明,請參見使用限制及效能指標。 例如,華南1(深圳)地區,OSS提供100 Gbps的標準頻寬能力。開啟加速器並配置10 TB加速器空間後,您可以通過加速器網域名稱獲得額外的24 Gbps低延遲頻寬。對於批量離線計算應用,建議您以大規模並發大塊讀取的方式通過OSS內網網域名稱利用100 Gbps標準頻寬能力。對於熱點資料查詢業務,您可以通過OSS加速器網域名稱訪問緩衝至NVMe SSD介質中的資料,獲得額外的低延遲24 Gbps輸送量。 |
讀寬頻(峰值) | 計算公式為:MAX[600,600×容量(TB)]MB/s
例如,加速器容量配置為2048 GB(即2 TB),則讀頻寬為(600+600)MB/s=1200 MB/s。 |
最大讀寬頻 | 40 GB/s 如果您的業務情境需要更大的讀頻寬,請提交工單申請。 |
單路128 KB最低讀延遲 | <10 ms |
擴縮容間隔 | 每小時可修改1次 |
擴縮容方式 | 通過控制台手動擴縮容 |
緩衝淘汰策略 | 採用LRU(Least Recently Used)緩衝淘汰策略。LRU緩衝淘汰策略用於確保經常被訪問的資料得以保留,長時間不被訪問的資料被優先移除,從而達到高效利用緩衝空間的目的。 |
費用說明
OSS加速器目前處於公測階段,公測期間免費提供最大100 GB的加速器配置容量。公測結束後,您需要根據加速器配置的實際容量隨用隨付。
通過加速器網域名稱讀寫OSS資料時,即使未發生回源,也會產生OSS請求費用。
計費項目 | 計費規則 | 計費周期 | 付費方式 |
OSS加速器(AcceleratorCacheSize) | 按照申請的加速器配置容量和使用時間長度計費。 重要 使用OSS加速器時,OSS會按照申請的加速器配置容量計費,與實際儲存的資料量無關。 例如,您申請了100 GB的加速器容量,實際向加速器預熱了50 GB 資料,OSS將按照100 GB計算。 | 按小時計費(賬單出賬時間通常在當前計費周期結束後,具體出賬時間以系統為準)。 |
|