Apsara File Storage for HDFS版(Apsara File Storage for HDFS)是面向阿里雲ECS執行個體及Container Service等計算資源的檔案儲存體服務。您可以像在HadoopDistributed File System(Hadoop Distributed File System)中管理和訪問資料那樣使用Apsara File Storage for HDFS版。您無需對現有巨量資料分析應用做任何修改,即可使用具備無限容量及效能擴充、單一命名空間、多共用、高可靠和高可用等特性的Distributed File System。
適用情境
Apsara File Storage for HDFS版適用於對吞吐要求較高的巨量資料分析與機器學習業務情境。Apsara File Storage for HDFS版能夠提供高輸送量和低延遲的訪問能力,無需將資料移轉到計算資源本地。
您將資料存入Apsara File Storage for HDFS版後,ECS執行個體或其他計算資源即可直接存取這些資料。將Hadoop或其他機器學習應用部署在多個計算資源上,應用可以直接通過Hadoopfs介面訪問資料進行離線或線上計算,也可以直接將計算結果輸出到Apsara File Storage for HDFS版做永久儲存。
效能
衡量Apsara File Storage for HDFS版的效能指標主要是吞吐能力。吞吐最大不會超過ECS頻寬。如果您的ECS頻寬只有1.5 Gbps,則吞吐最高可達到187.5 MB/s。吞吐能力和購買的儲存空間相關。
資料持久性和服務可用性
和Apsara File Storage NAS一樣,Apsara File Storage for HDFS版的資料在後端進行多副本儲存,每份資料都有多份拷貝在故障域隔離的不同裝置上存放,提供99.999999999%(11個9)的資料可靠性,能夠有效降低資料安全風險。
擴充性和彈性
Apsara File Storage for HDFS版能夠為應用負載提供高輸送量、高IOPS及低時延的儲存效能。同時,其效能與容量成線性關係,可滿足業務增長時對更高容量與儲存效能的需求。
安全性
Apsara File Storage for HDFS版具有檔案系統標準許可權控制、許可權組存取控制和RAM使用者等多種安全機制,從而保證檔案系統資料安全萬無一失。
介面
Apsara File Storage for HDFS版的SDK包含檔案系統SDK和管控系統SDK。目前公測期間只提供檔案系統SDK,管控操作則通過控制台進行。Apsara File Storage for HDFS版SDK實現了Hadoop FileSystem介面,提供一種Hadoop相容的檔案系統,對外輸出為一個單獨的JAR檔案,即aliyun-sdk-dfs-x.y.z.jar。藉助該SDK,Apache Hadoop的計算分析應用(如MapReduce、Hive、Spark、Flink等)可以無需修改代碼和編譯,直接使用Apsara File Storage for HDFS版作為defaultFS,從而獲得超越原始HDFS的功能和效能優勢。
如果您更習慣使用圖形化的Web應用程式,可以使用管理主控台來管理HDFS檔案系統。
費用模型
Apsara File Storage for HDFS版的計費項目包括儲存容量和預置吞吐。開通產品時預設按照實際使用量按小時計費(隨用隨付),同時也支援購買資源套件(訂用帳戶)的方式提前購買資源的使用額度和時間長度,擷取更多的優惠。