在下載OSS大檔案(超過5 GB)到本地的過程中,如果出現網路中斷、程式異常退出等問題導致檔案下載失敗,甚至重試多次仍無法完成下載,您需要使用斷點續傳下載的方式下載大檔案。斷點續傳下載將需要下載的大檔案分成多個較小的分區並發下載,加速下載完成時間。如果下載過程中,某一分區下載失敗,再次下載時會從Checkpoint檔案記錄的斷點繼續下載,無需重新下載所有分區。下載完成後,所有分區將合并成完整的檔案。
注意事項
本文以華東1(杭州)外網Endpoint為例。如果您希望通過與OSS同地區的其他阿里雲產品訪問OSS,請使用內網Endpoint。關於OSS支援的Region與Endpoint的對應關係,請參見OSS訪問網域名稱、資料中心、開放連接埠。
本文以從環境變數讀取存取憑證為例。如何配置訪問憑證,請參見配置訪問憑證。
本文以OSS網域名稱建立OSSClient為例。如果您希望通過自訂網域名、STS等方式建立OSSClient,請參見初始化。
要斷點續傳下載,您必須有
oss:GetObject
許可權。具體操作,請參見為RAM使用者授權自訂的權限原則。使用斷點續傳下載時,檔案下載的進度資訊會記錄在Checkpoint檔案中,如果下載過程中某一分區下載失敗,再次下載時會從Checkpoint檔案中記錄的點繼續下載,從而達到斷點續傳的效果。下載完成後,Checkpoint檔案會被刪除。
SDK會將下載的狀態資訊記錄在Checkpoint檔案中,所以要確保程式對Checkpoint檔案有寫入權限。
請勿修改Checkpoint檔案中攜帶的校正資訊。如果Checkpoint檔案損壞,則會重新下載所有分區。
如果下載過程中檔案的ETag發生變化、Part丟失或被修改,則重新下載檔案。
範例程式碼
package main
import (
"fmt"
"os"
"github.com/aliyun/aliyun-oss-go-sdk/oss"
)
func main() {
/// 從環境變數中擷取訪問憑證。運行本程式碼範例之前,請確保已設定環境變數OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
provider, err := oss.NewEnvironmentVariableCredentialsProvider()
if err != nil {
fmt.Println("Error:", err)
os.Exit(-1)
}
// 建立OSSClient執行個體。
// yourEndpoint填寫Bucket對應的Endpoint,以華東1(杭州)為例,填寫為https://oss-cn-hangzhou.aliyuncs.com。其它Region請按實際情況填寫。
// yourRegion填寫Bucket所在地區,以華東1(杭州)為例,填寫為cn-hangzhou。其它Region請按實際情況填寫。
clientOptions := []oss.ClientOption{oss.SetCredentialsProvider(&provider)}
clientOptions = append(clientOptions, oss.Region("yourRegion"))
// 設定簽名版本
clientOptions = append(clientOptions, oss.AuthVersion(oss.AuthV4))
client, err := oss.New("yourEndpoint", "", "", clientOptions...)
if err != nil {
fmt.Println("Error:", err)
os.Exit(-1)
}
// 填寫Bucket名稱,例如examplebucket。
bucket, err := client.Bucket("examplebucket")
if err != nil {
fmt.Println("Error:", err)
os.Exit(-1)
}
// yourObjectName填寫Object完整路徑,完整路徑中不能包含Bucket名稱,例如exampledir/exampleobject.txt。
// yourLocalFile填寫本地檔案的完整路徑,例如D:\\localpath\\examplefile.txt。如果未指定本地路徑,則下載後的檔案預設儲存到樣本程式所屬專案對應本地路徑中。
// 設定分區大小為100 KB(100*1024),並指定分區下載並發數為3。
// oss.Checkpoint(true, "")表示開啟斷點續傳下載功能。預設情況下,記錄斷點的Checkpoint檔案與下載到本地的檔案在同一目錄,名稱與本地檔案名稱相同,尾碼為.temp的檔案。您也可以使用oss.Checkpoint(true, "your-cp-file.temp")指定Checkpoint檔案。
err = bucket.DownloadFile("file.zip", "D:\\file.zip", 100*1024, oss.Routines(3), oss.Checkpoint(true, ""))
if err != nil {
fmt.Println("Error:", err)
os.Exit(-1)
}
}