全部產品
Search
文件中心

Object Storage Service:Go斷點續傳上傳

更新時間:Oct 26, 2024

當上傳超過5GB的大檔案到OSS時,若遇網路中斷或程式異常退出,建議使用斷點續傳。此方法將大檔案分割成多個分區並發上傳,加速進程。若某個分區上傳失敗,可從Checkpoint檔案記錄的斷點繼續上傳,無需重傳所有分區。上傳完成後,所有分區將自動合并為完整檔案。

注意事項

  • 本文以華東1(杭州)外網Endpoint為例。如果您希望通過與OSS同地區的其他阿里雲產品訪問OSS,請使用內網Endpoint。關於OSS支援的Region與Endpoint的對應關係,請參見OSS訪問網域名稱、資料中心、開放連接埠

  • 本文以從環境變數讀取存取憑證為例。如何配置訪問憑證,請參見配置訪問憑證

  • 本文以OSS網域名稱建立OSSClient為例。如果您希望通過自訂網域名、STS等方式建立OSSClient,請參見初始化

  • 要斷點續傳上傳,您必須有oss:PutObject許可權。具體操作,請參見為RAM使用者授權自訂的權限原則

  • SDK會將上傳的狀態資訊記錄在Checkpoint檔案中,所以要確保程式對Checkpoint檔案有寫入權限。

  • 請勿修改Checkpoint檔案中攜帶的校正資訊。如果Checkpoint檔案損壞,則會重新上傳所有分區。

  • 如果上傳過程中本地檔案發生了改變,則會重新上傳所有分區。

實現方法

您可以使用Bucket.UploadFile方法實現斷點續傳上傳。可設定的參數及選項如下:

參數

說明

objectKey

上傳到OSS的檔案名稱,等同於objectName

filePath

待上傳的本地檔案路徑。

partSize

上傳的分區大小,取值範圍為100 KB~5 GB。預設值為100 KB。

options

包含如下可選項:

  • Routines:指定分區上傳的並發數。預設值是1,即不使用並發上傳。

  • Checkpoint:指定是否開啟斷點續傳上傳功能並設定Checkpoint檔案。斷點續傳上傳預設處於關閉狀態。

    例如:oss.Checkpoint(true, "")表示開啟斷點續傳上傳功能,且Checkpoint檔案設定為與本地檔案同目錄下的file.cp,其中file為本地檔案名稱。您也可以使用oss.Checkpoint(true, "your-cp-file.cp")指定Checkpoint檔案。

說明

更多資訊,請參見設定檔案中繼資料

範例程式碼

您可以使用以下代碼進行斷點續傳上傳。

package main

import (
	"log"

	"github.com/aliyun/aliyun-oss-go-sdk/oss"
)

func main() {
	// 從環境變數中擷取訪問憑證。運行本程式碼範例之前,請確保已設定環境變數OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
	provider, err := oss.NewEnvironmentVariableCredentialsProvider()
	if err != nil {
		log.Fatalf("Failed to create credentials provider: %v", err)
	}

	// 建立OSSClient執行個體。
	// yourEndpoint填寫Bucket對應的Endpoint,以華東1(杭州)為例,填寫為https://oss-cn-hangzhou.aliyuncs.com。其它Region請按實際情況填寫。
	// yourRegion填寫Bucket所在地區,以華東1(杭州)為例,填寫為cn-hangzhou。其它Region請按實際情況填寫。
	clientOptions := []oss.ClientOption{oss.SetCredentialsProvider(&provider)}
	clientOptions = append(clientOptions, oss.Region("yourRegion"))
	// 設定簽名版本
	clientOptions = append(clientOptions, oss.AuthVersion(oss.AuthV4))
	client, err := oss.New("yourEndpoint", "", "", clientOptions...)
	if err != nil {
		log.Fatalf("Failed to create OSS client: %v", err)
	}

	// 填寫Bucket名稱,例如examplebucket。
	bucket, err := client.Bucket("examplebucket")
	if err != nil {
		log.Fatalf("Failed to get bucket: %v", err)
	}

	// 通過UploadFile實現斷點續傳上傳時,限制分區數量不能超過10000。
	// 您需要結合上傳檔案的大小,合理設定每個分區的大小。每個分區大小的取值範圍為100 KB~5 GB。預設值為100 KB(即100*1024)。
	// 通過oss.Routines指定分區上傳並發數為3。
	// yourObjectName填寫Object完整路徑,完整路徑中不能包含Bucket名稱,例如exampledir/exampleobject.txt。
	// yourLocalFile填寫本地檔案的完整路徑,例如D:\\localpath\\examplefile.txt。如果未指定本地路徑,則預設從樣本程式所屬專案對應本地路徑中上傳檔案。
	err = bucket.UploadFile("exampledir/exampleobject.txt", "D:\\localpath\\examplefile.txt", 100*1024, oss.Routines(3), oss.Checkpoint(true, ""))
	if err != nil {
		log.Fatalf("Failed to upload file: %v", err)
	}

	log.Println("File uploaded successfully.")
}

常見問題

斷點續傳上傳時報錯Too many parts, Please increase part size.怎麼辦?

相關文檔

  • 關於斷點續傳上傳的完整範例程式碼,請參見GitHub樣本

  • 關於斷點續傳上傳的API介面說明,請參見UploadFile