全部產品
Search
文件中心

Object Storage Service:Python斷點續傳下載

更新時間:Oct 25, 2024

當下載大檔案時,如果網路不穩定或者程式異常退出,會導致下載失敗,甚至重試多次仍無法完成下載。為此,OSS提供了斷點續傳下載功能。斷點續傳下載將需要下載的檔案分成若干個分區分別下載,所有分區都下載完成後,將所有分區合并成完整的檔案。

注意事項

  • 本文以華東1(杭州)外網Endpoint為例。如果您希望通過與OSS同地區的其他阿里雲產品訪問OSS,請使用內網Endpoint。關於OSS支援的Region與Endpoint的對應關係,請參見OSS訪問網域名稱、資料中心、開放連接埠

  • 本文以從環境變數讀取存取憑證為例。如何配置訪問憑證,請參見配置訪問憑證

  • 本文以OSS網域名稱建立OSSClient為例。如果您希望通過自訂網域名、STS等方式建立OSSClient,請參見初始化

  • 要斷點續傳下載,您必須有oss:GetObject許可權。具體操作,請參見為RAM使用者授權自訂的權限原則

流程說明

斷點續傳下載的流程如下:

  1. 在本地建立一個臨時檔案,檔案名稱由原檔案名稱加上一個隨機的尾碼組成。

  2. 通過指定HTTP請求的Range頭,按照範圍讀取OSS檔案,並寫入到臨時檔案裡相應的位置。

  3. 下載完成之後,把臨時檔案重新命名為目標檔案。如目標檔案已存在會覆蓋,不存在則建立。

警告

因斷點資訊會在本地磁碟上互相覆蓋,且臨時檔案名稱可能會衝突,需避免多個程式(線程)同時調用oss2.resumable_download方法下載同一個源檔案到同一個目標檔案。

範例程式碼

以下代碼用於斷點續傳下載:

# -*- coding: utf-8 -*-
import oss2
from oss2.credentials import EnvironmentVariableCredentialsProvider
# 從環境變數中擷取訪問憑證。運行本程式碼範例之前,請確保已設定環境變數OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
auth = oss2.ProviderAuthV4(EnvironmentVariableCredentialsProvider())

# 填寫Bucket所在地區對應的Endpoint。以華東1(杭州)為例,Endpoint填寫為https://oss-cn-hangzhou.aliyuncs.com。
endpoint = "https://oss-cn-hangzhou.aliyuncs.com"

# 填寫Endpoint對應的Region資訊,例如cn-hangzhou。注意,v4簽名下,必須填寫該參數
region = "cn-hangzhou"

# yourBucketName填寫儲存空間名稱。
bucket = oss2.Bucket(auth, endpoint, "yourBucketName", region=region)

# yourObjectName填寫Object完整路徑,完整路徑中不能包含Bucket名稱,例如exampledir/exampleobject.txt。
# yourLocalFile填寫本地檔案的完整路徑,例如D:\\localpath\\examplefile.txt。
oss2.resumable_download(bucket, 'exampledir/exampleobject.txt', 'D:\\localpath\\examplefile.txt')
# 如未使用參數store指定目錄,則會在HOME目錄下建立.py-oss-upload目錄來儲存斷點資訊。

# Python SDK 2.1.0以上版本支援斷點續傳下載時設定以下選擇性參數。
# import sys
# # 當無法確定待下載的資料長度時,total_bytes的值為None。
# def percentage(consumed_bytes, total_bytes):
#     if total_bytes:
#         rate = int(100 * (float(consumed_bytes) / float(total_bytes)))
#         print('\r{0}% '.format(rate), end='')
#         sys.stdout.flush()
# # 如果使用store指定了目錄,則斷點資訊將儲存在指定目錄中。如果使用num_threads設定並發下載線程數,請將oss2.defaults.connection_pool_size設定為大於或等於並發下載線程數。預設並發下載線程數為1。
# oss2.resumable_download(bucket,  'exampledir/exampleobject.txt', 'D:\\localpath\\examplefile.txt',
#                       store=oss2.ResumableDownloadStore(root='/tmp'),
#                       # 指定當檔案長度大於或等於選擇性參數multipart_threshold(預設值為10 MB)時,則使用斷點續傳下載。
#                       multiget_threshold=100*1024,
#                       # 設定分區大小,單位為位元組,取值範圍為100 KB~5 GB。預設值為100 KB。
#                       part_size=100*1024,
#                       # 設定下載進度回呼函數。
#                       progress_callback=percentage,
#                       # 如果使用num_threads設定並發下載線程數,請將oss2.defaults.connection_pool_size設定為大於或等於並發下載線程數。預設並發下載線程數為1。
#                       num_threads=4)

相關文檔

  • 關於斷點續傳下載的完整範例程式碼,請參見GitHub樣本

  • 關於斷點續傳下載的API介面說明,請參見GetObject