ApsaraDB RDS：SQL Server執行個體層級遷移上雲

前提條件

• 源端需為自建SQL Server資料庫。

• 目標端RDS SQL Server執行個體需滿足如下條件：

  • 執行個體剩餘空間需大於待上雲的資料檔案。若空間不足，請提前升級執行個體空間。

  • 2008 R2版本：需確保執行個體中已建立與待遷移資料庫名稱相同的資料庫（其他版本無需執行本操作）。

• 如果通過RAM使用者登入，需滿足以下條件：

  • RAM帳號具備AliyunOSSFullAccess許可權和AliyunRDSFullAccess許可權。如何為RAM使用者授權，請參見通過RAM對OSS進行許可權管理和通過RAM對RDS進行許可權管理。

  • 阿里雲帳號（主帳號）已授權RDS官方服務帳號可以訪問您OSS的許可權。

    點擊展開查看授權方法

    1. 前往RDS執行個體詳情頁備份恢複頁面，單擊OSS備份資料恢複上雲按鈕。

    2. 在資料匯入嚮導頁面單擊兩次下一步，進入3. 資料匯入步驟。

       若該頁面左下角顯示您已授權RDS官方服務帳號可以訪問您OSS的許可權，則表示已授權。否則表示還未授權，單擊該頁面的授權地址同意授權即可。

       

  • 所在阿里雲帳號（主帳號）需手動建立權限原則，然後將許可權添加到RAM帳號中。

    點擊展開查看策略內容

    {
        "Version": "1",
        "Statement": [
            {
                "Action": [
                    "ram:GetRole"
                ],
                "Resource": "acs:ram:*:*:role/AliyunRDSImportRole",
                "Effect": "Allow"
            }
        ]
    }

限制條件

本方案僅支援全量遷移上雲，暫不支援增量遷移上雲。

費用說明

本方案中僅會產生OSS的相關費用，詳情如下圖所示。

準備工作

python --version
python3 --version
py --version

python --version
python3 --version

pip install alibabacloud_rds20140815
pip install alibabacloud-oss-v2
pip install alibabacloud_tea_openapi
pip install alibabacloud_tea_util

1. 備份自建SQL Server所有資料庫

1. 下載備份指令碼。

2. 雙擊備份指令碼，使用Microsoft SQL Server Management Studio（SSMS）用戶端開啟。SSMS的串連方法，請參見官方文檔。

3. 根據業務需求，修改如下參數。

   點擊展開查看樣本

   SELECT
       /**
       * Databases list needed to backup, delimiter is : or ,
       * empty('') or null: means all databases excluding system database
       * example: '[testdb]: TestDR, Test, readonly'
       **/
       @backup_databases_list = N'[dtstestdata],[testdb]'
       @backup_type = N'FULL',                    -- Backup Type? FULL: FULL backup; DIFF: Differential backup; LOG: Log backup
       @backup_folder = N'C:\BACKUP'              -- Backup folder to store backup files.
       @is_run = 1                                -- Check or run? 1, run directly; 0, just check

   配置項	說明
   @backup_databases_list	需要備份的資料庫，多個資料庫以分號（;）或者半形逗號（,）分隔。
   @backup_type	備份類型，取值如下： FULL：全量備份。 DIFF：差異備份。 LOG：記錄備份。 重要 本方案中，取值需為FULL。
   @backup_folder	備份檔案所在的本地目錄。如不存在，會自動建立。
   @is_run	是否執行備份，取值： 1：執行備份。 0：僅執行檢查，不執行備份。

4. 運行備份指令碼，資料庫將備份至指定的目錄中。

   

2. 上傳備份檔案到OSS

1. 將備份檔案上傳至OSS前，您需先在OSS中建立儲存空間Bucket。

   • 若OSS中已存在Bucket，請確保該Bucket滿足以下要求：

     • Bucket儲存類型儲存類型為標準儲存。不能是低頻訪問儲存、Archive Storage、冷Archive Storage、深度冷Archive Storage。

     • Bucket未開啟服務端加密。

   • 若OSS中沒有Bucket，需要先行建立。（請確保已開通OSS服務）

     1. 登入OSS管理主控台，單擊Bucket列表，然後單擊建立Bucket。

     2. 配置如下關鍵參數，其他參數可以保持預設。

        重要

        • 建立的儲存空間主要用於本次資料上雲，只需配置關鍵參數即可，上雲完成後可以及時刪除以避免資料泄露及產生相關費用。

        • 建立Bucket時請勿開啟服務端加密。

        參數	說明	取值樣本
        Bucket 名稱	儲存空間名稱，全域唯一，設定後無法修改。 命名規則： 只能包括小寫字母、數字和短劃線（-）。 必須以小寫字母或者數字開頭和結尾。 長度必須在3~63字元之間。	migratetest
        地區	Bucket所屬的地區，如果您通過ECS內網上傳資料至Bucket中，且通過內網將資料恢複至RDS中，則需要三者地區保持一致。	華東1（杭州）
        儲存類型	選擇標準儲存。本文上雲操作不支援其他儲存類型的Bucket。	標準儲存

2. 上傳備份檔案到OSS。

   本機資料庫備份完成後，請將備份檔案上傳到與您的RDS執行個體同地區的OSS Bucket中，兩者處於同一地區時可通過內網互連（不會產生外網流量費用），且資料上傳速度更快。您可以採用如下方法之一：

   使用ossbrowser工具上傳（推薦）

   1. 下載ossbrowser。

   2. 以Windows x64作業系統為例，解壓下載的oss-browser-win32-x64.zip壓縮包，雙擊運行oss-browser.exe應用程式。

   3. 使用AK登入方式，配置參數AccessKeyId和AccessKeySecret，其他參數保持預設，然後單擊登入。

      說明

      AccessKey用於身分識別驗證，確保資料安全，請妥善保管。

      

   4. 單擊目標Bucket，進入儲存空間。

   5. 單擊，選擇需要上傳的備份檔案，然後單擊開啟，即可將本地檔案上傳至OSS中。

   使用OSS控制台上傳

   說明

   如果備份檔案小於5 GB，建議您直接通過OSS控制台上傳備份檔案。

   1. 登入OSS管理主控台。

   2. 單擊Bucket列表，然後單擊目標Bucket名稱。

   3. 在檔案清單中，單擊上傳檔案。

   4. 您可以將備份檔案拖拽至待上傳檔案地區，也可以單擊掃描檔案，選擇需要上傳的備份檔案。

   5. 單擊頁面下方的上傳檔案，即可將本地備份檔案上傳至OSS中。

   使用OSS API分區上傳（以Python 3專案為例）

   說明

   如果備份檔案大於5 GB，建議您調用OSS API採用分區上傳的方式將備份檔案上傳到OSS Bucket中。

   # -*- coding: utf-8 -*-
   """
   Alibaba Cloud OSS Python SDK v2
   依賴：pip install alibabacloud-oss-v2
   """
   
   import os
   import sys
   from pathlib import Path
   import alibabacloud_oss_v2 as oss
   from alibabacloud_oss_v2 import exceptions as oss_ex
   
   
   def get_client_from_env(region: str, endpoint: str | None = None) -> oss.Client:
       """
       從環境變數建立 v2 用戶端。
       - 優先使用 Region（推薦），也支援自訂 Endpoint（可選）。
       - 同時相容 AK 與 STS：
           * AK: 需要 OSS_ACCESS_KEY_ID / OSS_ACCESS_KEY_SECRET
           * STS: 另需 OSS_SESSION_TOKEN（相容舊變數 OSS_SECURITY_TOKEN）
       """
       # 相容：如果使用者使用了老變數 OSS_SECURITY_TOKEN，則映射到 v2 期望的 OSS_SESSION_TOKEN
       sec_token_legacy = os.getenv("OSS_SECURITY_TOKEN")
       if sec_token_legacy and not os.getenv("OSS_SESSION_TOKEN"):
           os.environ["OSS_SESSION_TOKEN"] = sec_token_legacy
   
       ak = os.getenv("OSS_ACCESS_KEY_ID")
       sk = os.getenv("OSS_ACCESS_KEY_SECRET")
       st = os.getenv("OSS_SESSION_TOKEN")  # STS Token（可選）
   
       if not (ak and sk):
           raise ValueError("未找到有效 AK，請設定環境變數 OSS_ACCESS_KEY_ID 和 OSS_ACCESS_KEY_SECRET。"
                            "如使用 STS，請同時設定 OSS_SESSION_TOKEN（或舊名 OSS_SECURITY_TOKEN）。")
   
       # 提示所用憑據類型
       if st:
           print("檢測到 STS Token（OSS_SESSION_TOKEN），使用 STS 憑證。")
       else:
           print("未檢測到 STS Token，使用 AccessKey (AK) 憑證。")
   
       credentials_provider = oss.credentials.EnvironmentVariableCredentialsProvider()
       cfg = oss.config.load_default()
       cfg.credentials_provider = credentials_provider
   
       # 基本網路設定
       cfg.region = region  # 例如：'cn-hangzhou'
       if endpoint:
           # 可選：自訂 Endpoint（如內網、加速、專有域）
           cfg.endpoint = endpoint
   
       # 也可以在此添加其它配置，如：cfg.use_accelerate_endpoint = True
       return oss.Client(cfg)
   
   
   def resumable_upload_file_v2(
       client: oss.Client,
       bucket_name: str,
       object_key: str,
       file_path: str,
       part_size: int = 1 * 1024 * 1024,
       parallel_num: int = 4,
       checkpoint_dir: str | None = None,
   ):
       """
       實現分區並發 + 斷點續傳上傳。
   
       :param client: 已初始化的 oss.Client
       :param bucket_name: 目標 Bucket 名稱
       :param object_key: 目標 Object Key（不包含 Bucket 名）
       :param file_path: 本地檔案完整路徑
       :param part_size: 分區大小（單位：位元組），預設 1MB
       :param parallel_num: 並發上傳線程數，預設 4
       :param checkpoint_dir: 斷點資訊儲存目錄；若為 None，則不啟用斷點續傳
       """
       file_path = str(file_path)
       if not Path(file_path).exists():
           raise FileNotFoundError(f"錯誤: 本地檔案未找到，請檢查 file_path 配置: {file_path}")
   
       # 構造 Uploader；根據是否傳入checkpoint_dir來啟用斷點續傳
       if checkpoint_dir:
           uploader = client.uploader(
               enable_checkpoint=True,
               checkpoint_dir=checkpoint_dir,
               part_size=part_size,
               parallel_num=parallel_num,
           )
       else:
           uploader = client.uploader(
               part_size=part_size,
               parallel_num=parallel_num,
           )
   
       print(f"開始上傳檔案: {file_path}")
       print(f"目標 Bucket: {bucket_name}")
       print(f"目標 Object: {object_key}")
       print(f"分區大小: {part_size} 位元組, 並發數: {parallel_num}")
       if checkpoint_dir:
           print(f"斷點續傳: 已啟用（checkpoint_dir={checkpoint_dir}）")
       else:
           print("斷點續傳: 未啟用（如需啟用請設定 checkpoint_dir）")
   
       # 執行上傳（Uploader 會自動根據大小選擇多/單分區並發上傳）
       result = uploader.upload_file(
           oss.PutObjectRequest(bucket=bucket_name, key=object_key),
           filepath=file_path,
       )
   
       print("-" * 30)
       print("檔案上傳成功!")
       print(f"HTTP Status: {result.status_code}")
       print(f"ETag: {result.etag}")
       print(f"請求 ID: {result.request_id}")
       # CRC64 校正值；v2 預設啟用資料校正
       print(f"CRC64: {result.hash_crc64}")
       print("-" * 30)
   
   
   def main():
       # 運行程式碼範例之前，請確保已設定相應的環境變數。
       # macOS/Linux:
       #   AK方式:
       #     export OSS_ACCESS_KEY_ID=YOUR_AK_ID
       #     export OSS_ACCESS_KEY_SECRET=YOUR_AK_SECRET
       #   STS方式:
       #     export OSS_ACCESS_KEY_ID=YOUR_STS_ID
       #     export OSS_ACCESS_KEY_SECRET=YOUR_STS_SECRET
       #     export OSS_SECURITY_TOKEN=YOUR_STS_TOKEN
       #
       # Windows:
       #   Powershell: $env:OSS_ACCESS_KEY_ID="YOUR_AK_ID"
       #   cmd: set OSS_ACCESS_KEY_ID=YOUR_AK_ID
   
       # ===================== 參數區（按需修改） =====================
       # Region 樣本：'cn-hangzhou'；建議優先使用 Region
       region = "cn-hangzhou"
   
       # 可選：自訂 Endpoint（如需內網、專有域、加速網域名稱等）
       # 例如：'https://oss-cn-hangzhou.aliyuncs.com'
       endpoint = 'https://oss-cn-hangzhou.aliyuncs.com'  
   
       # Bucket 與 Object
       bucket_name = "examplebucket"
       object_key = "test.bak"
   
       # 待上傳的本地檔案完整路徑。
       # Windows樣本: r'D:\localpath\examplefile.txt'  (注意前面的 r)
       # macOS/Linux樣本: '/Users/test/examplefile.txt'
       file_path = r"D:\oss\test.bak"
   
       # 分區與並發
       part_size = 1 * 1024 * 1024  # 預設 1MB；OSS 要求單片最小 100KB
       parallel_num = 4
   
       # 斷點續傳目錄（傳 None 則不啟用；建議指定到一個可寫目錄）
       checkpoint_dir = str(Path.cwd() / ".oss_checkpoints")
       # =================== 參數區結束 ===================
   
       print("指令碼開始執行...")
       try:
           client = get_client_from_env(region=region, endpoint=endpoint)
           # 若啟用斷點續傳，確保目錄存在
           if checkpoint_dir:
               Path(checkpoint_dir).mkdir(parents=True, exist_ok=True)
   
           resumable_upload_file_v2(
               client=client,
               bucket_name=bucket_name,
               object_key=object_key,
               file_path=file_path,
               part_size=part_size,
               parallel_num=parallel_num,
               checkpoint_dir=checkpoint_dir,
           )
       except FileNotFoundError as e:
           print(e)
       except oss_ex.ServiceError as e:
           # OSS 服務端返回的錯誤
           print("\n發生 OSS 服務端錯誤。")
           print(f"HTTP Status: {getattr(e, 'status_code', 'N/A')}")
           print(f"Error Code: {getattr(e, 'code', 'N/A')}")
           print(f"Message: {getattr(e, 'message', 'N/A')}")
           print(f"Request ID: {getattr(e, 'request_id', 'N/A')}")
           print(f"Endpoint: {getattr(e, 'request_target', 'N/A')}")
       except oss_ex.BaseError as e:
           # SDK 本地/序列化/還原序列化/憑據等錯誤
           print("\n發生 OSS SDK 用戶端錯誤。")
           print(str(e))
       except Exception as e:
           print(f"\n發生未知錯誤: {e}")
   
   
   if __name__ == "__main__":
       main()

3. 執行上雲指令碼將資料庫遷移至RDS

1. 下載SQL Server遷移上雲指令碼。

2. 解壓後執行如下命令，瞭解該指令碼需要傳入的參數資訊。

   python ~/Downloads/RDSSQLCreateMigrateTasksBatchly.py -h

   結果如下：

   RDSSQLCreateMigrateTasksBatchly.py -k <access_key_id> -s <access_key_secret> -i <rds_instance_id> -e <oss_endpoint> -b <oss_bucket> -d <directory>

   參數說明如下：

   參數	說明
   access_key_id	目標RDS執行個體所屬的阿里雲帳號的AccessKey ID。
   access_key_secret	目標RDS執行個體所屬的阿里雲帳號的AccessKey Secret。
   rds_instance_id	目標RDS執行個體ID。
   oss_endpoint	備份檔案所屬的儲存空間的Endpoint地址。
   oss_bucket	備份檔案所屬的儲存空間名稱。
   directory	備份檔案在OSS儲存空間中的目錄。如果是根目錄，請傳入/。

3. 執行遷移上雲指令碼，完成遷移任務。

   本樣本以將OSS儲存空間（名稱為testdatabucket）的Migrationdata目錄中所有滿足條件的備份檔案，全量遷移到RDS SQL Server執行個體（執行個體ID為rm-2zesz5774ud8s****）為例。

   python ~/Downloads/RDSSQLCreateMigrateTasksBatchly.py -k yourAccessKeyID -s yourAccessKeySecret -i rm-2zesz5774ud8s**** -e oss-cn-beijing.aliyuncs.com -b testdatabucket -d Migrationdata

4. 查看遷移任務進度

請根據RDS SQL Server執行個體版本，選擇對應方案。

常見錯誤

相關API