全部產品
Search
文件中心

Object Storage Service:Python流式下載

更新時間:Oct 25, 2024

如果要下載的檔案太大,或者一次性下載耗時太長,您可以通過流式下載,一次處理部分內容,直到完成檔案的下載。

注意事項

  • 本文以華東1(杭州)外網Endpoint為例。如果您希望通過與OSS同地區的其他阿里雲產品訪問OSS,請使用內網Endpoint。關於OSS支援的Region與Endpoint的對應關係,請參見OSS訪問網域名稱、資料中心、開放連接埠

  • 本文以OSS網域名稱建立OSSClient為例。如果您希望通過自訂網域名、STS等方式建立OSSClient,請參見初始化

  • 要流式下載,您必須有oss:GetObject許可權。具體操作,請參見為RAM使用者授權自訂的權限原則

範例程式碼

以下代碼用於流式下載examplebucket中的exampleobject.txt檔案。

# -*- coding: utf-8 -*-
import oss2
from oss2.credentials import EnvironmentVariableCredentialsProvider

# 建立Server對象。
# 從環境變數中擷取訪問憑證。運行本程式碼範例之前,請確保已設定環境變數OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
auth = oss2.ProviderAuthV4(EnvironmentVariableCredentialsProvider())

# 填寫Bucket所在地區對應的Endpoint。以華東1(杭州)為例,Endpoint填寫為https://oss-cn-hangzhou.aliyuncs.com。
endpoint = "https://oss-cn-hangzhou.aliyuncs.com"

# 填寫Endpoint對應的Region資訊,例如cn-hangzhou。注意,v4簽名下,必須填寫該參數
region = "cn-hangzhou"

# yourBucketName填寫儲存空間名稱。
bucket = oss2.Bucket(auth, endpoint, "yourBucketName", region=region)

# bucket.get_object的傳回值是一個類檔案對象(File-Like Object),同時也是一個可迭代對象(Iterable)。
# 填寫Object的完整路徑。Object完整路徑中不能包含Bucket名稱。
object_stream = bucket.get_object('exampleobject.txt')
print(object_stream.read())

# 由於get_object介面返回的是一個stream流,需要執行read()後才能計算出返回Object資料的CRC checksum,因此需要在調用該介面後進行CRC校正。
if object_stream.client_crc != object_stream.server_crc:
    print("The CRC checksum between client and server is inconsistent!")

以下代碼用於將exampleobject.txt檔案的流式資料下載到本地D:\localpath路徑下的examplefile.txt。

import shutil
import oss2
from oss2.credentials import EnvironmentVariableCredentialsProvider

# 建立Server對象。
# 從環境變數中擷取訪問憑證。運行本程式碼範例之前,請確保已設定環境變數OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
auth = oss2.ProviderAuthV4(EnvironmentVariableCredentialsProvider())

# 填寫Bucket所在地區對應的Endpoint。以華東1(杭州)為例,Endpoint填寫為https://oss-cn-hangzhou.aliyuncs.com。
endpoint = "https://oss-cn-hangzhou.aliyuncs.com"

# 填寫Endpoint對應的Region資訊,例如cn-hangzhou。注意,v4簽名下,必須填寫該參數
region = "cn-hangzhou"

# yourBucketName填寫儲存空間名稱。
bucket = oss2.Bucket(auth, endpoint, "yourBucketName", region=region)

# object_stream是類檔案對象,您可以使用shutil.copyfileobj方法,將流式資料下載到本地檔案中。
# 填寫Object的完整路徑。Object完整路徑中不能包含Bucket名稱。
object_stream = bucket.get_object('exampleobject.txt')
# 下載Object到本地檔案,並儲存到指定的本地路徑中。如果指定的本地檔案存在會覆蓋,不存在則建立。
# 如果未指定本地路徑,則下載後的檔案預設儲存到樣本程式所屬專案對應本地路徑中。
with open('D:\\localpath\\examplefile.txt', 'wb') as local_fileobj:
    shutil.copyfileobj(object_stream, local_fileobj)
    

以下代碼用於將exampleobject.txt檔案流式拷貝到另一個檔案exampleobjectnew.txt中。

import oss2
from oss2.credentials import EnvironmentVariableCredentialsProvider

# 建立Server對象。
# 從環境變數中擷取訪問憑證。運行本程式碼範例之前,請確保已設定環境變數OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
auth = oss2.ProviderAuthV4(EnvironmentVariableCredentialsProvider())

# 填寫Bucket所在地區對應的Endpoint。以華東1(杭州)為例,Endpoint填寫為https://oss-cn-hangzhou.aliyuncs.com。
endpoint = "https://oss-cn-hangzhou.aliyuncs.com"

# 填寫Endpoint對應的Region資訊,例如cn-hangzhou。注意,v4簽名下,必須填寫該參數
region = "cn-hangzhou"

# yourBucketName填寫儲存空間名稱。
bucket = oss2.Bucket(auth, endpoint, "yourBucketName", region=region)

# object_stream是一個可迭代對象,您可以將流式資料拷貝到同一Bucket中的另一個檔案中。
# 填寫Object的完整路徑。Object完整路徑中不能包含Bucket名稱。
object_stream = bucket.get_object('exampleobject.txt')
# 填寫另一個Object的完整路徑。Object完整路徑中不能包含Bucket名稱。
bucket.put_object('exampleobjectnew.txt', object_stream)

相關文檔

  • 關於流式下載的完整範例程式碼,請參見GitHub樣本

  • 關於流式下載的API介面說明,請參見GetObject