全部產品
Search
文件中心

Object Storage Service:同帳號同地區複製

更新時間:Nov 05, 2024

同帳號同地區複製是指將某個帳號某個地區下源儲存空間(Bucket)的檔案(Object)的建立、更新和刪除等操作自動、非同步(近即時)地複製到當前帳號相同地區下的目標Bucket。本文介紹如何進行同帳號同地區複製。

前提條件

  • 已在某個帳號下的某個地區建立Bucket A作為同地區複製的源Bucket,並記錄帳號的UID、Bucket A的名稱及所在地區。

  • 已在相同帳號下的相同地區建立Bucket B作為同地區複製的目標Bucket,並記錄Bucket B的名稱。

角色類型

執行同帳號同地區複製時,需要指定用於源Bucket與目標Bucket之間執行複製操作的角色。您可以選擇以下任意角色完成同帳號同地區複製任務。

重要

您可以選擇通過RAM使用者建立角色,RAM使用者必須擁有以下許可權:ram:CreateRoleram:GetRoleram:ListPoliciesForRoleram:AttachPolicyToRole。但是考慮到授予RAM使用者ram:CreateRoleram:GetRole等角色相關的許可權風險較大,您可以通過RAM使用者關聯的阿里雲帳號建立RAM角色並為相應的RAM角色完成授權。授權完成後,RAM使用者可以直接複用阿里雲帳號建立的RAM角色。

(推薦)建立角色

建立同帳號同地區複製規則時,支援選擇建立角色來完成複製任務。選擇建立角色後,後台將自動建立格式為oss-replication-{uuid} 的角色,並根據是否選擇複製KMS加密對象授予不同權限原則。

  • 選擇複製KMS加密對象

    建立角色後,您需要按照頁面指引完成角色授權操作。授權完成後,該角色擁有源Bucket同步到目標Bucket精準權限原則以及AliyunKMSFullAccess(管理Key Management Service的許可權)。

  • 選擇不複製KMS加密對象

    建立角色後,您需要按照頁面指引完成角色授權操作。授權完成後,該角色擁有源Bucket同步到目標Bucket精準權限原則。

AliyunOSSRole

建立同帳號同地區複製規則時,支援選擇AliyunOSSRole角色來完成複製任務。選擇該角色後,後台會根據是否選擇複製KMS加密對象授予不同權限原則。

  • 選擇複製KMS加密對象

    選擇AliyunOSSRole角色後,後台將自動為AliyunOSSRole角色授予以下權限原則:AliyunOSSFullAccess(管理Object Storage Service的許可權)以及AliyunKMSFullAccess(管理Key Management Service的許可權)。

    警告

    該角色擁有當前帳號下所有Bucket以及KMS的所有操作許可權,許可權範圍較大,請謹慎使用。

  • 選擇不複製KMS加密對象

    選擇AliyunOSSRole角色後,後台將自動為AliyunOSSRole角色授予AliyunOSSFullAccess(管理Object Storage Service的許可權)。

    警告

    該角色擁有當前帳號下所有Bucket所有操作許可權,許可權範圍較大,請謹慎使用。

自訂角色

建立同帳號同地區複製規則時,支援使用自訂角色來完成複製任務。您需要通過RAM控制台建立自訂角色,並為角色賦予相關許可權。

  1. 建立普通服務角色。

    建立角色過程中,需選擇可信實體類型為阿里雲服務,角色類型選擇普通服務角色,受信服務選擇Object Storage Service。具體步驟,請參見建立普通服務角色

  2. 為角色授權。

    您可以選擇以下任意方式為角色授權。

    為RAM角色授予系統策略

    警告

    您可以選擇為RAM角色授予系統策略AliyunOSSFullAccessAliyunOSSFullAccess預設擁有當前帳號下所有Bucket的所有操作許可權,請謹慎使用。

    如果您希望將KMS加密的Object複製到目標Bucket,您還需要為角色授予AliyunKMSFullAccess系統策略。

    具體步驟,請參見為RAM角色授權

    為RAM角色授予自訂策略

    建議您選擇為RAM角色授予源Bucket(src-bucket)和目標Bucket(dest-bucket)複製所需的最小許可權。

    說明

    實際使用時,請相應替換源Bucket和目標Bucket名稱。

    {
       "Version":"1",
       "Statement":[
          {
             "Effect":"Allow",
             "Action":[
                "oss:ReplicateList",
              	"oss:ReplicateGet"
             ],
             "Resource":[
              	"acs:oss:*:*:src-bucket",
                "acs:oss:*:*:src-bucket/*"
             ]
          },
          {
             "Effect":"Allow",
             "Action":[
              	"oss:ReplicateList",
                "oss:ReplicateGet",
                "oss:ReplicatePut",
                "oss:ReplicateDelete"
             ],
             "Resource":[
              	"acs:oss:*:*:dest-bucket",
                "acs:oss:*:*:dest-bucket/*"
             ]
          }
       ]
    }

    具體步驟,請參見為RAM角色授權

    說明

    如果您希望將KMS加密的Object複製到目標Bucket,您還需要為角色授予AliyunKMSFullAccess系統策略。

操作步驟

使用OSS控制台

  1. 登入OSS管理主控台

  2. 單擊Bucket 列表,然後單擊src-bucket。

  3. 在左側導覽列,選擇資料管理 > 同地區複製

  4. 同地區複製頁簽,單擊同地區複製

  5. 同地區複製對話方塊,按以下說明配置各項參數。

    地區

    參數

    說明

    設定目標Bucket

    源Bucket

    顯示源Bucket所在地區及名稱。

    目標Bucket

    選中在此帳號下選擇一個Bucket,然後下拉相同地區下的目標Bucket名稱。

    設定複製策略

    數據複製對象

    選擇需要複製的來源資料。

    • 全部檔案進行同步:將該Bucket內所有的Object複製到目標儲存空間。

    • 指定檔案名稱首碼進行同步:將該Bucket內指定首碼的Object複製到目標Bucket。最多可以添加10個首碼。

    數據複製策略

    選擇資料複製的方式。

    說明

    建立資料複製規則後,源Bucket內通過生命週期規則或者CopyObject修改儲存類型後引起的儲存類型變更、以及該Bucket內Object的最後訪問時間(x-oss-last-access-time)屬性,均不會同步到目標Bucket。

    • 增/改 同步:將該Bucket內Object新增和更新操作複製到目標Bucket。

    • 增/刪/改 同步:將該Bucket內Object的新增、更新、刪除操作複製到目標Bucket。

    如果某個Object是通過分區上傳的方式上傳至源Bucket,則每個分區的上傳操作都會複製至目標Bucket。最終,對所有分區執行CompleteMultipartUpload後產生的Object,也會被複製到目標Bucket。

    有關同地區複製結合版本控制的複製行為說明,請參見同地區複製結合版本控制

    複製歷史數據

    選擇是否複製同地區複製規則生效前源Bucket中已有的歷史資料。

    • 複製:將歷史資料複製至目標Bucket。

      重要

      複製歷史資料時,從源Bucket複製的Object可能會覆蓋目標Bucket中同名的Object。為避免這部分檔案丟失,建議您對源Bucket和目標Bucket開啟版本控制。

    • 不複製:僅複製同地區複製規則生效後上傳或更新的Object。

    複制 KMS 加密目標對象

    選擇是否將KMS加密的Object複製到目標Bucket。

    • 複製:在源Object或者目標Bucket使用了KMS託管祕密金鑰加密方式(即SSE-KMS,指定CMK ID)的情況下,要將Object複製到目標Bucket。

      說明

      您可以通過HeadObjectGetBucketEncryption分別查詢源Object和目標Bucket的加密狀態。

    • 不複製:不複製KMS加密的Object到目標Bucket。

    使用的 KMS 密鑰

    選擇將KMS加密的Object複製到目標Bucket,您需要為目標Object指定加密的KMS密鑰。

    指定KMS密鑰前,您需要提前在KMS平台建立一個與目標Bucket相同地區的KMS密鑰。具體操作,請參見建立密鑰

    授權角色

    推薦選擇建立角色。下拉選擇建立角色後,您需要按照頁面指引完成角色授權操作。

    您還可以選擇AliyunOSSRole或者自訂角色。關於這三種類型角色的更多資訊,請參見角色類型

  6. 單擊確定,然後在彈出的對話方塊,單擊確認開啟

    • 當同地區複製規則建立完成後,不允許對此規則進行編輯或刪除。

    • 複製任務會在同地區複製規則配置完成的3~5分鐘後啟動。您可以在源Bucket的同地區複製頁簽,查看複製進度。

    • 由於Bucket間的同地區複製採用非同步(近即時)複製,資料複製到目標Bucket需要的時間取決於資料的大小,通常幾分鐘到幾小時不等。

使用阿里雲SDK

僅Java、Python以及Go SDK支援同帳號同地區複製。

Java

import com.aliyun.oss.ClientException;
import com.aliyun.oss.OSS;
import com.aliyun.oss.common.auth.*;
import com.aliyun.oss.OSSClientBuilder;
import com.aliyun.oss.OSSException;
import com.aliyun.oss.model.AddBucketReplicationRequest;

public class Demo {

    public static void main(String[] args) throws Exception {
        // Endpoint以華東1(杭州)為例,其它Region請按實際情況填寫。
        String endpoint = "https://oss-cn-hangzhou.aliyuncs.com";
        // 強烈建議不要把訪問憑證儲存到工程代碼裡,否則可能導致訪問憑證泄露,威脅您帳號下所有資源的安全。本程式碼範例以從環境變數中擷取訪問憑證為例。運行本程式碼範例之前,請先配置環境變數。
        EnvironmentVariableCredentialsProvider credentialsProvider = CredentialsProviderFactory.newEnvironmentVariableCredentialsProvider();
        // 填寫源Bucket名稱。
        String bucketName = "src-bucket";
        // 指定資料要複製到的目標Bucket。目標Bucket與源Bucket必須屬於相同帳號。
        String targetBucketName = "dest-bucket";
        // 指定目標Bucket所在地區。目標Bucket與源Bucket必須處於相同地區。
        String targetBucketLocation = "oss-cn-hangzhou";

        // 建立OSSClient執行個體。
        OSS ossClient = new OSSClientBuilder().build(endpoint, credentialsProvider);

        try {
            AddBucketReplicationRequest request = new AddBucketReplicationRequest(bucketName);

            request.setTargetBucketName(targetBucketName);
            request.setTargetBucketLocation(targetBucketLocation);
            // 預設複製歷史資料。此處設定為false,表示禁止複製歷史資料。
            request.setEnableHistoricalObjectReplication(false);
            // 指定授權OSS進行資料複製的角色名稱,且該角色必須已被授予源Bucket執行同地區複製以及目標Bucket接收複製對象的許可權。
            request.setSyncRole("yourRole");
            // 指定OSS是否複製通過SSE-KMS加密建立的對象。
            //request.setSseKmsEncryptedObjectsStatus("Enabled");
            // 指定SSE-KMS密鑰ID。如果指定Status為Enabled,則必須指定該元素。
            //request.setReplicaKmsKeyID("3542abdd-5821-4fb5-a425-90adca***");
            //List prefixes = new ArrayList();
            //prefixes.add("image/");
            //prefixes.add("video");
            //prefixes.add("a");
            //prefixes.add("A");
            // 指定待覆制Object的首碼Prefix。指定Prefix後,只有匹配該Prefix的Object才會複製到目標Bucket。
            //request.setObjectPrefixList(prefixes);
            //List actions = new ArrayList();
            //actions.add(AddBucketReplicationRequest.ReplicationAction.PUT);
            // 將源Bucket內Object的新增、更新操作複製到目標Bucket。
            //request.setReplicationActionList(actions);
            ossClient.addBucketReplication(request);
        } catch (OSSException oe) {
            System.out.println("Caught an OSSException, which means your request made it to OSS, "
                    + "but was rejected with an error response for some reason.");
            System.out.println("Error Message:" + oe.getErrorMessage());
            System.out.println("Error Code:" + oe.getErrorCode());
            System.out.println("Request ID:" + oe.getRequestId());
            System.out.println("Host ID:" + oe.getHostId());
        } catch (ClientException ce) {
            System.out.println("Caught an ClientException, which means the client encountered "
                    + "a serious internal problem while trying to communicate with OSS, "
                    + "such as not being able to access the network.");
            System.out.println("Error Message:" + ce.getMessage());
        } finally {
            if (ossClient != null) {
                ossClient.shutdown();
            }
        }
    }
}        

Python

# -*- coding: utf-8 -*-
import oss2
from oss2.credentials import EnvironmentVariableCredentialsProvider
from oss2.models import ReplicationRule
# 從環境變數中擷取訪問憑證。運行本程式碼範例之前,請確保已設定環境變數OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
auth = oss2.ProviderAuth(EnvironmentVariableCredentialsProvider())
# 填寫源Bucket所在地區對應的Endpoint。以華東1(杭州)為例,Endpoint填寫為https://oss-cn-hangzhou.aliyuncs.com。
# 填寫源Bucket名稱,例如src-bucket。
bucket = oss2.Bucket(auth, 'https://oss-cn-hangzhou.aliyuncs.com', 'src-bucket')
replica_config = ReplicationRule(
    # 指定資料要複製到的目標Bucket。目標Bucket與源Bucket必須屬於相同帳號。
    target_bucket_name='dest-bucket',
    # 指定目標Bucket所在地區。目標Bucket與源Bucket必須處於相同地區。
    target_bucket_location='oss-cn-hangzhou'
    # 指定授權OSS進行資料複製的角色名稱,且該角色必須已被授予源Bucket執行同地區複製以及目標Bucket接收複製對象的許可權。
    sync_role_name='roleNameTest',
)

# 指定待覆制Object的首碼Prefix。指定Prefix後,只有匹配該Prefix的Object才會複製到目標Bucket。
# prefix_list = ['prefix1', 'prefix2']
# 設定資料複製規則。
# replica_config = ReplicationRule(
     # prefix_list=prefix_list,
     # 將源Bucket內Object的新增、更新操作複製到目標Bucket。
     # action_list=[ReplicationRule.PUT],
     # 指定資料要複製到的目標Bucket。
     # target_bucket_name='dest-bucket',
     # 指定目標Bucket所在地區。
     # target_bucket_location='yourTargetBucketLocation',
     # 預設複製歷史資料。此處設定為False,表示禁止複製歷史資料。
     # is_enable_historical_object_replication=False,    
     # 複製通過SSE-KMS加密建立的對象。
     # sse_kms_encrypted_objects_status=ReplicationRule.ENABLED
     # 指定SSE-KMS密鑰ID。如果指定複製通過SSE-KMS加密建立的對象,則必須指定該元素。
     # replica_kms_keyid='9468da86-3509-4f8d-a61e-6eab1eac****',
  #)

# 開啟資料複製。
bucket.put_bucket_replication(replica_config)

Go

package main

import (
	"encoding/xml"
	"fmt"
	"github.com/aliyun/aliyun-oss-go-sdk/oss"
	"os"
)

func HandleError(err error) {
	fmt.Println("Error:", err)
	os.Exit(-1)
}

// 開啟資料複製。
func main() {
	// 從環境變數中擷取訪問憑證。運行本程式碼範例之前,請確保已設定環境變數OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
	provider, err := oss.NewEnvironmentVariableCredentialsProvider()
	if err != nil {
		fmt.Println("Error:", err)
		os.Exit(-1)
	}
	// 建立OSSClient執行個體。
	// yourEndpoint填寫Bucket對應的Endpoint,以華東1(杭州)為例,填寫為https://oss-cn-hangzhou.aliyuncs.com。其它Region請按實際情況填寫。
	client, err := oss.New("yourEndpoint", "", "", oss.SetCredentialsProvider(&provider))
	if err != nil {
		fmt.Println("Error:", err)
		os.Exit(-1)
	}
	// 指定源Bucket名稱。
	srcbucketName := "yourSrcBucket"
	// 指定資料要複製到的目標Bucket。
	destBucketName := "yourDestBucket"
	// 指定待覆制Object的首碼prefix_1和prefix_2。指定Prefix後,只有匹配該Prefix的Object才會複製到目標Bucket。
	// 如果您需要將源Bucket中的所有Object複製到目標Bucket,則無需設定Prefix。
	prefix1 := "prefix_1"
	prefix2 := "prefix_2"
	// 指定SSE-KMS密鑰ID。如果指定Status為Enabled,則必須指定該元素。
	keyId := "c4d49f85-ee30-426b-a5ed-95e9****"
	// 指定OSS是否複製通過SSE-KMS加密建立的對象。
	source := "Enabled"
	prefixSet := oss.ReplicationRulePrefix{Prefix: []*string{&prefix1, &prefix2}}	
	reqReplication := oss.PutBucketReplication{
		Rule: []oss.ReplicationRule{
			{
				PrefixSet: &prefixSet,
				//將源Bucket內Object的新增、更新操作複製到目標Bucket。
				Action: "PUT",				
				Destination: &oss.ReplicationRuleDestination{
					Bucket: destBucketName,
					// 指定目標Bucket所在地區。源Bucket與目標Bucket必須處於不同的地區。
					Location: "oss-cn-hangzhou",					
				},
				// 預設複製歷史資料。此處設定為disabled,表示禁止複製歷史資料。
				HistoricalObjectReplication: "disabled",
				// 指定授權OSS進行資料複製的角色名稱,且該角色必須已被授予源Bucket執行同地區複製以及目標Bucket接收複製對象的許可權。
				SyncRole:                "yourRole",
				EncryptionConfiguration: &keyId,
				SourceSelectionCriteria: &source,
			},
		},
	}

	xmlBody, err := xml.Marshal(reqReplication)
	if err != nil {
		HandleError(err)
	}
	err = client.PutBucketReplication(srcbucketName, string(xmlBody))

	if err != nil {
		HandleError(err)
	}

	fmt.Println("Put Bucket Replication Success!")
}

使用命令列工具ossutil

關於使用ossutil開啟同地區複製的具體步驟,請參見replication(同地區複製)

使用REST API

如果您的程式自訂要求較高,您可以直接發起REST API請求。直接發起REST API請求需要手動編寫代碼計算簽名。更多資訊,請參見PutBucketReplication