全部產品
Search
文件中心

Object Storage Service:Python斷點續傳上傳

更新時間:Oct 25, 2024

通過斷點續傳上傳的方式將檔案上傳到OSS前,您可以指定斷點記錄點。上傳過程中,如果出現網路異常或程式崩潰導致檔案上傳失敗時,將從斷點記錄處繼續上傳未上傳完成的部分。

注意事項

  • 本文以華東1(杭州)外網Endpoint為例。如果您希望通過與OSS同地區的其他阿里雲產品訪問OSS,請使用內網Endpoint。關於OSS支援的Region與Endpoint的對應關係,請參見OSS訪問網域名稱、資料中心、開放連接埠

  • 本文以從環境變數讀取存取憑證為例。如何配置訪問憑證,請參見配置訪問憑證

  • 本文以OSS網域名稱建立OSSClient為例。如果您希望通過自訂網域名、STS等方式建立OSSClient,請參見初始化

  • 要斷點續傳上傳,您必須有oss:PutObjectoss:ListParts許可權。具體操作,請參見為RAM使用者授權自訂的權限原則

  • 斷點續傳內部使用了多線程,調用時無需在外部封裝多線程,否則可能導致資料重複傳輸。

  • 網路情況較好時,建議增加分區大小。反之,減小分區大小。

範例程式碼

以下代碼用於斷點續傳上傳。

# -*- coding: utf-8 -*-
import oss2
from oss2.credentials import EnvironmentVariableCredentialsProvider
# 從環境變數中擷取訪問憑證。運行本程式碼範例之前,請確保已設定環境變數OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
auth = oss2.ProviderAuthV4(EnvironmentVariableCredentialsProvider())

# 填寫Bucket所在地區對應的Endpoint。以華東1(杭州)為例,Endpoint填寫為https://oss-cn-hangzhou.aliyuncs.com。
endpoint = "https://oss-cn-hangzhou.aliyuncs.com"

# 填寫Endpoint對應的Region資訊,例如cn-hangzhou。注意,v4簽名下,必須填寫該參數
region = "cn-hangzhou"

# yourBucketName填寫儲存空間名稱。
bucket = oss2.Bucket(auth, endpoint, "yourBucketName", region=region)

# yourObjectName填寫Object完整路徑,完整路徑中不能包含Bucket名稱,例如exampledir/exampleobject.txt。
# yourLocalFile填寫本地檔案的完整路徑,例如D:\\localpath\\examplefile.txt。如果未指定本地路徑,則預設從樣本程式所屬專案對應本地路徑中上傳檔案。
oss2.resumable_upload(bucket, 'exampledir/exampleobject.txt', 'D:\\localpath\\examplefile.txt')
# 如未使用參數store指定目錄,則會在HOME目錄下建立.py-oss-upload目錄來儲存斷點資訊。

# Python SDK 2.1.0以上版本支援斷點續傳上傳時設定以下選擇性參數。
# import sys
# # 當無法確定待上傳的資料長度時,total_bytes的值為None。
# def percentage(consumed_bytes, total_bytes):
#     if total_bytes:
#         rate = int(100 * (float(consumed_bytes) / float(total_bytes)))
#         print('\r{0}% '.format(rate), end='')
#         sys.stdout.flush()
# # 如果使用store指定了目錄,則斷點資訊將儲存在指定目錄中。如果使用num_threads設定並發上傳線程數,請將oss2.defaults.connection_pool_size設定為大於或等於並發上傳線程數。預設並發上傳線程數為1。
# oss2.resumable_upload(bucket, '<yourObjectName>', '<yourLocalFile>',
#                       store=oss2.ResumableStore(root='/tmp'),
#                       # 指定當檔案長度大於或等於選擇性參數multipart_threshold(預設值為10 MB)時,則使用分區上傳。
#                       multipart_threshold=100*1024,
#                       # 設定分區大小,單位為位元組,取值範圍為100 KB~5 GB。預設值為100 KB。
#                       part_size=100*1024,
#                       # 設定上傳回調進度函數。
#                       progress_callback=percentage,
#                       # 如果使用num_threads設定並發上傳線程數,請將oss2.defaults.connection_pool_size設定為大於或等於並發上傳線程數。預設並發上傳線程數為1。
#                       num_threads=4)

相關文檔

關於斷點續傳上傳的完整範例程式碼,請參見GitHub樣本