SQL Server執行個體層級遷移上雲

前提條件

• 源端資料庫需為自建SQL Server。

• 目標端RDS SQL Server執行個體需滿足如下條件：

  • 執行個體版本為2008 R2、2012及以上。如需建立執行個體，請參見建立RDS SQL Server執行個體。

  • 執行個體版本為RDS SQL Server 2008 R2時，需要在目標RDS執行個體中建立與待遷移資料庫名稱相同的資料庫，並保持資料庫為空白。如何建立資料庫，請參見建立資料庫和帳號。

    說明

    2012及以上版本的執行個體，無需執行本步驟。

  • RDS SQL Server執行個體擁有足夠的儲存空間。如果空間不足，請提前升級執行個體空間。

• 已開通OSS服務。

• 如果通過RAM使用者登入，則必須滿足以下條件：

  • RAM帳號具備AliyunOSSFullAccess許可權和AliyunRDSFullAccess許可權。如何為RAM使用者授權，請參見通過RAM對OSS進行許可權管理和通過RAM對RDS進行許可權管理。

  • 阿里雲帳號（主帳號）已授權RDS官方服務帳號可以訪問您OSS的許可權。

    點擊展開查看授權方法

    1. 前往RDS執行個體詳情頁備份恢複頁面，單擊OSS備份資料恢複上雲按鈕。

    2. 在資料匯入嚮導頁面單擊兩次下一步，進入3. 資料匯入步驟。

       若該頁面左下角顯示您已授權RDS官方服務帳號可以訪問您OSS的許可權，則表示已授權。否則表示還未授權，單擊該頁面的授權地址同意授權即可。

       

  • 所在阿里雲帳號（主帳號）需手動建立權限原則，然後將許可權添加到RAM帳號中。

    點擊展開查看策略內容

    {
        "Version": "1",
        "Statement": [
            {
                "Action": [
                    "ram:GetRole"
                ],
                "Resource": "acs:ram:*:*:role/AliyunRDSImportRole",
                "Effect": "Allow"
            }
        ]
    }

限制條件

本方案僅支援全量遷移上雲，暫不支援增量遷移上雲。

費用說明

本方案中僅會產生OSS的相關費用，詳情如下圖所示。

準備工作

1. 安裝Python2.7.18版本，詳情請參見Python官網。

2. 確認Python安裝成功並查看版本。

   Windows作業系統

   執行c:\Python27\python.exe -V查看Python版本，若輸出內容為Python 2.7.18表示您已安裝成功。

   如果提示“不是內部或外部命令”，請在Path環境變數中增加Python的安裝路徑和pip命令的目錄。

   

   Mac、Linux或Unix作業系統

   執行python -V查看Python版本，若輸出內容為Python 2.7.18表示您已安裝成功。

3. 選擇下述方法之一，安裝SDK依賴包：

   方式一：使用pip安裝

   方式二：使用源碼安裝

   pip install aliyun-python-sdk-rds
   pip install oss2

   # 複製OpenAPI
   git clone https://github.com/aliyun/aliyun-openapi-python-sdk.git
   # 安裝阿里雲SDK核心庫
   cd aliyun-python-sdk-core
   python setup.py install
   # 安裝阿里雲RDS SDK
   cd aliyun-python-sdk-rds
   python setup.py install
   # 複製阿里雲OSS SDK
   git clone https://github.com/aliyun/aliyun-oss-python-sdk.git
   cd aliyun-oss-python-sdk
   # 安裝阿里雲OSS2 SDK
   python setup.py install

1. 備份自建SQL Server所有資料庫

1. 下載備份指令碼。

2. 雙擊備份指令碼，使用Microsoft SQL Server Management Studio（SSMS）用戶端開啟。SSMS的串連方法，請參見官方文檔。

3. 根據業務需求，修改如下參數。

   點擊展開查看樣本

   SELECT
       /**
       * Databases list needed to backup, delimiter is : or ,
       * empty('') or null: means all databases excluding system database
       * example: '[testdb]: TestDR, Test, readonly'
       **/
       @backup_databases_list = N'[dtstestdata],[testdb]'
       @backup_type = N'FULL',                    -- Backup Type? FULL: FULL backup; DIFF: Differential backup; LOG: Log backup
       @backup_folder = N'C:\BACKUP'              -- Backup folder to store backup files.
       @is_run = 1                                -- Check or run? 1, run directly; 0, just check

   配置項	說明

   配置項	說明
   @backup_databases_list	需要備份的資料庫，多個資料庫以分號（;）或者半形逗號（,）分隔。
   @backup_type	備份類型，取值如下： FULL：全量備份。 DIFF：差異備份。 LOG：記錄備份。 重要 本方案中，取值需為FULL。
   @backup_folder	備份檔案所在的本地目錄。如不存在，會自動建立。
   @is_run	是否執行備份，取值： 1：執行備份。 0：僅執行檢查，不執行備份。

4. 運行備份指令碼，資料庫將備份至指定的目錄中。

   

2. 上傳備份檔案到OSS

1. 如果沒有Bucket，需要先建立儲存空間Bucket。

   1. 登入OSS管理主控台，單擊Bucket列表，然後單擊建立Bucket。

   2. 配置如下關鍵參數，其他參數可以保持預設。

      重要

      • 建立的儲存空間主要用於本次資料上雲，只需配置關鍵參數即可，上雲完成後可以及時刪除以避免資料泄露及產生相關費用。

      • 建立Bucket時請勿開啟資料加密。

      參數	說明	取值樣本

      參數	說明	取值樣本
      Bucket 名稱	儲存空間名稱，全域唯一，設定後無法修改。 命名規則： 只能包括小寫字母、數字和短劃線（-）。 必須以小寫字母或者數字開頭和結尾。 長度必須在3~63字元之間。	migratetest
      地區	Bucket所屬的地區，如果您通過ECS內網上傳資料至Bucket中，且通過內網將資料恢複至RDS中，則需要三者地區保持一致。	華東1（杭州）
      儲存類型	選擇標準儲存。本文上雲操作不支援其他儲存類型的Bucket。	標準儲存

2. 上傳備份檔案到OSS。

   本機資料庫備份完成後，請將備份檔案上傳到與您的RDS執行個體同地區的OSS Bucket中，兩者處於同一地區時可通過內網互連（不會產生外網流量費用），且資料上傳速度更快。您可以採用如下方法之一：

   使用ossbrowser工具上傳（推薦）

   1. 下載ossbrowser。

   2. 以Windows x64作業系統為例，解壓下載的oss-browser-win32-x64.zip壓縮包，雙擊運行oss-browser.exe應用程式。

   3. 使用AK登入方式，配置參數AccessKeyId和AccessKeySecret，其他參數保持預設，然後單擊登入。

      說明

      AccessKey用於身分識別驗證，確保資料安全，請妥善保管。

      

   4. 單擊目標Bucket，進入儲存空間。

   5. 單擊，選擇需要上傳的備份檔案，然後單擊開啟，即可將本地檔案上傳至OSS中。

   使用OSS控制台上傳

   說明

   如果備份檔案小於5 GB，建議您直接通過OSS控制台上傳備份檔案。

   1. 登入OSS管理主控台。

   2. 單擊Bucket列表，然後單擊目標Bucket名稱。

   3. 在檔案清單中，單擊上傳檔案。

   4. 您可以將備份檔案拖拽至待上傳檔案地區，也可以單擊掃描檔案，選擇需要上傳的備份檔案。

   5. 單擊頁面下方的上傳檔案，即可將本地備份檔案上傳至OSS中。

   使用OSS API分區上傳

   說明

   如果備份檔案大於5 GB，建議您調用OSS API採用分區上傳的方式將備份檔案上傳到OSS Bucket中。

   本樣本以Java專案為例，從環境變數中擷取訪問憑證代碼。運行本程式碼範例之前，請先配置環境變數。更多樣本，請參見分區上傳。

   import com.aliyun.oss.*;
   import com.aliyun.oss.common.auth.*;
   import com.aliyun.oss.common.comm.SignVersion;
   import com.aliyun.oss.internal.Mimetypes;
   import com.aliyun.oss.model.*;
   import java.io.File;
   import java.io.FileInputStream;
   import java.io.InputStream;
   import java.util.ArrayList;
   import java.util.List;
   
   public class Demo {
   
       public static void main(String[] args) throws Exception {
           // Endpoint以華東1（杭州）為例，其它Region請按實際情況填寫。
           String endpoint = "https://oss-cn-hangzhou.aliyuncs.com";
           // 從環境變數中擷取訪問憑證。運行本程式碼範例之前，請確保已設定環境變數OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
           EnvironmentVariableCredentialsProvider credentialsProvider = CredentialsProviderFactory.newEnvironmentVariableCredentialsProvider();
           // 填寫Bucket名稱，例如examplebucket。
           String bucketName = "examplebucket";
           // 填寫Object完整路徑，例如exampledir/exampleobject.txt。Object完整路徑中不能包含Bucket名稱。
           String objectName = "exampledir/exampleobject.txt";
           // 待上傳本地檔案路徑。
           String filePath = "D:\\localpath\\examplefile.txt";
           // 填寫Bucket所在地區。以華東1（杭州）為例，Region填寫為cn-hangzhou。
           String region = "cn-hangzhou";
   
           // 建立OSSClient執行個體。
           ClientBuilderConfiguration clientBuilderConfiguration = new ClientBuilderConfiguration();
           clientBuilderConfiguration.setSignatureVersion(SignVersion.V4);
           OSS ossClient = OSSClientBuilder.create()
                   .endpoint(endpoint)
                   .credentialsProvider(credentialsProvider)
                   .clientConfiguration(clientBuilderConfiguration)
                   .region(region)
                   .build();
   
           try {
               // 建立InitiateMultipartUploadRequest對象。
               InitiateMultipartUploadRequest request = new InitiateMultipartUploadRequest(bucketName, objectName);
   
               // 建立ObjectMetadata並設定Content-Type。
               ObjectMetadata metadata = new ObjectMetadata();
               if (metadata.getContentType() == null) {
                   metadata.setContentType(Mimetypes.getInstance().getMimetype(new File(filePath), objectName));
               }
               System.out.println("Content-Type: " + metadata.getContentType());
   
               // 將metadata綁定到上傳請求中。
               request.setObjectMetadata(metadata);
   
               // 初始化分區。
               InitiateMultipartUploadResult upresult = ossClient.initiateMultipartUpload(request);
               // 返回uploadId。
               String uploadId = upresult.getUploadId();
   
               // partETags是PartETag的集合。PartETag由分區的ETag和分區號組成。
               List<PartETag> partETags = new ArrayList<PartETag>();
               // 每個分區的大小，用於計算檔案有多少個分區。單位為位元組。
               // 分區最小值為100 KB，最大值為5 GB。最後一個分區的大小允許小於100 KB。
               // 設定分區大小為 1 MB。
               final long partSize = 1 * 1024 * 1024L;   
   
               // 根據上傳的資料大小計算分區數。以本地檔案為例，說明如何通過File.length()擷取上傳資料的大小。
               final File sampleFile = new File(filePath);
               long fileLength = sampleFile.length();
               int partCount = (int) (fileLength / partSize);
               if (fileLength % partSize != 0) {
                   partCount++;
               }
               // 遍曆分區上傳。
               for (int i = 0; i < partCount; i++) {
                   long startPos = i * partSize;
                   long curPartSize = (i + 1 == partCount) ? (fileLength - startPos) : partSize;
                   UploadPartRequest uploadPartRequest = new UploadPartRequest();
                   uploadPartRequest.setBucketName(bucketName);
                   uploadPartRequest.setKey(objectName);
                   uploadPartRequest.setUploadId(uploadId);
                   // 設定上傳的分區流。
                   // 以本地檔案為例說明如何建立FileInputStream，並通過InputStream.skip()方法跳過指定資料。
                   InputStream instream = new FileInputStream(sampleFile);
                   instream.skip(startPos);
                   uploadPartRequest.setInputStream(instream);
                   // 設定分區大小。
                   uploadPartRequest.setPartSize(curPartSize);
                   // 設定分區號。每一個上傳的分區都有一個分區號，取值範圍是1~10000，如果超出此範圍，OSS將返回InvalidArgument錯誤碼。
                   uploadPartRequest.setPartNumber(i + 1);
                   // 每個分區不需要按順序上傳，甚至可以在不同用戶端上傳，OSS會按照分區號排序組成完整的檔案。
                   UploadPartResult uploadPartResult = ossClient.uploadPart(uploadPartRequest);
                   // 每次上傳分區之後，OSS的返回結果包含PartETag。PartETag將被儲存在partETags中。
                   partETags.add(uploadPartResult.getPartETag());
   
                   // 關閉流
                   instream.close();
               }
   
               // 建立CompleteMultipartUploadRequest對象。
               // 在執行完成分區上傳操作時，需要提供所有有效partETags。OSS收到提交的partETags後，會逐一驗證每個分區的有效性。當所有的資料分區驗證通過後，OSS將把這些分區組合成一個完整的檔案。
               CompleteMultipartUploadRequest completeMultipartUploadRequest =
                       new CompleteMultipartUploadRequest(bucketName, objectName, uploadId, partETags);
   
               // 完成分區上傳。
               CompleteMultipartUploadResult completeMultipartUploadResult = ossClient.completeMultipartUpload(completeMultipartUploadRequest);
               System.out.println("上傳成功，ETag：" + completeMultipartUploadResult.getETag());
   
           } catch (OSSException oe) {
               System.out.println("Caught an OSSException, which means your request made it to OSS, "
                       + "but was rejected with an error response for some reason.");
               System.out.println("Error Message:" + oe.getErrorMessage());
               System.out.println("Error Code:" + oe.getErrorCode());
               System.out.println("Request ID:" + oe.getRequestId());
               System.out.println("Host ID:" + oe.getHostId());
           } catch (ClientException ce) {
               System.out.println("Caught a ClientException, which means the client encountered "
                       + "a serious internal problem while trying to communicate with OSS, "
                       + "such as not being able to access the network.");
               System.out.println("Error Message:" + ce.getMessage());
           } finally {
               if (ossClient != null) {
                   ossClient.shutdown();
               }
           }
       }
   }

3. 執行遷移上雲指令碼將資料庫遷移至RDS

1. 下載SQL Server遷移上雲指令碼。

2. 解壓後執行如下命令，瞭解該指令碼需要傳入的參數資訊。

   python ~/Downloads/RDSSQLCreateMigrateTasksBatchly.py -h

   結果如下：

   RDSSQLCreateMigrateTasksBatchly.py -k <access_key_id> -s <access_key_secret> -i <rds_instance_id> -e <oss_endpoint> -b <oss_bucket> -d <directory>

   參數說明如下：

   參數	說明
   access_key_id	目標RDS執行個體所屬的阿里雲帳號的AccessKey ID。
   access_key_secret	目標RDS執行個體所屬的阿里雲帳號的AccessKey Secret。
   rds_instance_id	目標RDS執行個體ID。
   oss_endpoint	備份檔案所屬的儲存空間的Endpoint地址。擷取方法，請參見儲存空間概覽。
   oss_bucket	備份檔案所屬的儲存空間名稱。
   directory	備份檔案在OSS儲存空間中的目錄。如果是根目錄，請傳入/。

3. 執行遷移上雲指令碼，完成遷移任務。

   本樣本以將OSS儲存空間（名稱為testdatabucket）的Migrationdata目錄中所有滿足條件的備份檔案，全量遷移到RDS SQL Server執行個體（執行個體ID為rm-2zesz5774ud8s****）為例。

   python ~/Downloads/RDSSQLCreateMigrateTasksBatchly.py -k ********* -s ****************** -i rm-2zesz5774ud8s**** -e oss-cn-beijing.aliyuncs.com -b testdatabucket -d Migrationdata

4. 在RDS控制台查看遷移任務的執行進度。

   1. 訪問RDS執行個體列表，在上方選擇地區，然後單擊目標執行個體ID。

   2. 根據RDS執行個體的版本，選擇下述操作步驟：

      RDS SQL Server 2008 R2

      RDS SQL Server 2012及以上版本

      單擊左側導覽列的資料上雲，您可以查看到所有提交的遷移上雲任務。

      說明

      可以單擊右上方的重新整理來查看遷移上雲任務的最新狀態。

      單擊左側導覽列的備份復原，然後單擊備份資料上雲記錄頁簽。

      說明

      預設會展示最近一周的記錄，您可以選擇時間範圍來查看特定時間段內的上雲恢複記錄。

常見錯誤

相關API