全部產品
Search
文件中心

Object Storage Service:Go斷點續傳下載

更新時間:Oct 26, 2024

在下載OSS大檔案(超過5 GB)到本地的過程中,如果出現網路中斷、程式異常退出等問題導致檔案下載失敗,甚至重試多次仍無法完成下載,您需要使用斷點續傳下載的方式下載大檔案。斷點續傳下載將需要下載的大檔案分成多個較小的分區並發下載,加速下載完成時間。如果下載過程中,某一分區下載失敗,再次下載時會從Checkpoint檔案記錄的斷點繼續下載,無需重新下載所有分區。下載完成後,所有分區將合并成完整的檔案。

注意事項

  • 本文以華東1(杭州)外網Endpoint為例。如果您希望通過與OSS同地區的其他阿里雲產品訪問OSS,請使用內網Endpoint。關於OSS支援的Region與Endpoint的對應關係,請參見OSS訪問網域名稱、資料中心、開放連接埠

  • 本文以從環境變數讀取存取憑證為例。如何配置訪問憑證,請參見配置訪問憑證

  • 本文以OSS網域名稱建立OSSClient為例。如果您希望通過自訂網域名、STS等方式建立OSSClient,請參見初始化

  • 要斷點續傳下載,您必須有oss:GetObject許可權。具體操作,請參見為RAM使用者授權自訂的權限原則

  • 使用斷點續傳下載時,檔案下載的進度資訊會記錄在Checkpoint檔案中,如果下載過程中某一分區下載失敗,再次下載時會從Checkpoint檔案中記錄的點繼續下載,從而達到斷點續傳的效果。下載完成後,Checkpoint檔案會被刪除。

  • SDK會將下載的狀態資訊記錄在Checkpoint檔案中,所以要確保程式對Checkpoint檔案有寫入權限。

  • 請勿修改Checkpoint檔案中攜帶的校正資訊。如果Checkpoint檔案損壞,則會重新下載所有分區。

  • 如果下載過程中檔案的ETag發生變化、Part丟失或被修改,則重新下載檔案。

範例程式碼

package main

import (
	"fmt"
	"os"

	"github.com/aliyun/aliyun-oss-go-sdk/oss"
)

func main() {
	/// 從環境變數中擷取訪問憑證。運行本程式碼範例之前,請確保已設定環境變數OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
	provider, err := oss.NewEnvironmentVariableCredentialsProvider()
	if err != nil {
		fmt.Println("Error:", err)
		os.Exit(-1)
	}

	// 建立OSSClient執行個體。
	// yourEndpoint填寫Bucket對應的Endpoint,以華東1(杭州)為例,填寫為https://oss-cn-hangzhou.aliyuncs.com。其它Region請按實際情況填寫。
	// yourRegion填寫Bucket所在地區,以華東1(杭州)為例,填寫為cn-hangzhou。其它Region請按實際情況填寫。
	clientOptions := []oss.ClientOption{oss.SetCredentialsProvider(&provider)}
	clientOptions = append(clientOptions, oss.Region("yourRegion"))
	// 設定簽名版本
	clientOptions = append(clientOptions, oss.AuthVersion(oss.AuthV4))
	client, err := oss.New("yourEndpoint", "", "", clientOptions...)
	if err != nil {
		fmt.Println("Error:", err)
		os.Exit(-1)
	}

	// 填寫Bucket名稱,例如examplebucket。
	bucket, err := client.Bucket("examplebucket")
	if err != nil {
		fmt.Println("Error:", err)
		os.Exit(-1)
	}

	// yourObjectName填寫Object完整路徑,完整路徑中不能包含Bucket名稱,例如exampledir/exampleobject.txt。
	// yourLocalFile填寫本地檔案的完整路徑,例如D:\\localpath\\examplefile.txt。如果未指定本地路徑,則下載後的檔案預設儲存到樣本程式所屬專案對應本地路徑中。
	// 設定分區大小為100 KB(100*1024),並指定分區下載並發數為3。
	// oss.Checkpoint(true, "")表示開啟斷點續傳下載功能。預設情況下,記錄斷點的Checkpoint檔案與下載到本地的檔案在同一目錄,名稱與本地檔案名稱相同,尾碼為.temp的檔案。您也可以使用oss.Checkpoint(true, "your-cp-file.temp")指定Checkpoint檔案。
	err = bucket.DownloadFile("file.zip", "D:\\file.zip", 100*1024, oss.Routines(3), oss.Checkpoint(true, ""))
	if err != nil {
		fmt.Println("Error:", err)
		os.Exit(-1)
	}
}

相關文檔

  • 關於斷點續傳下載的完整範例程式碼,請參見GitHub樣本

  • 關於斷點續傳下載的API介面說明,請參見GetObject