ApsaraDB for MongoDB：將MongoDB物理備份檔案恢複至自建資料庫

前提條件

• 執行個體類型為複本集。

• 執行個體儲存類型為本地碟版。

• 執行個體未開啟TDE功能。

• 執行個體的儲存引擎為WiredTiger或RocksDB。如果執行個體的儲存引擎為TerarkDB ，請使用邏輯備份恢複至自建資料庫。

  說明

  • 您可以在控制台的基本資料頁面中查看執行個體的儲存引擎。

  • 執行個體的儲存引擎為RocksDB時，您需要自行編譯安裝帶有RocksDB儲存引擎的MongoDB應用程式。

資料庫版本要求

ApsaraDB for MongoDB執行個體的版本必須對應自建MongoDB資料庫的版本。二者之間的對應關係如下：

物理備份檔案格式說明

環境說明

• 本文樣本所用的伺服器為阿里雲ECS執行個體，鏡像為Ubuntu 16.04（64位），建立方法請參見建立ECS執行個體。

• ECS伺服器已安裝對應版本的MongoDB，安裝方法請參見MongoDB官方文檔。

• ECS伺服器已對MongoDB配置環境變數，執行命令時無需再輸入可執行檔的路徑。

• /test/mongo/data作為MongoDB物理恢複操作的資料庫所在目錄。

• /test/mongo/data1和/test/mongo/data2作為複本集節點的資料庫目錄。

步驟一：配置環境變數

對自建庫環境中的MongoDB配置環境變數，避免執行命令時繁瑣的路徑輸入步驟。在執行此步驟前，請確認您已安裝MongoDB。

如您已對MongoDB配置過環境變數，請跳過這一步進入步驟二：下載及解壓物理備份檔案。

1. 執行如下命令開啟Linux系統的profile環境變數檔案。

   sudo vi /etc/profile

2. 鍵盤輸入i進入編輯模式，在最後一行輸入如下格式的內容：

   export PATH=$PATH:/<MongoDB服務端路徑>/bin

   說明

   本樣本中，MongoDB服務端的路徑為/test/mongo/bin，請根據您的實際情況配置路徑。

   樣本：

   export PATH=$PATH:/test/mongo/bin

3. 按Esc鍵退出編輯模式，鍵盤輸入:wq儲存並退出。

4. 執行如下命令使新更改的環境變數檔案生效：

   source /etc/profile

步驟二：下載及解壓物理備份檔案

1. 下載MongoDB物理備份檔案，您可以通過如下命令進行下載。

   wget -c '<資料備份檔案外網下載地址>' -O <自訂檔案名稱>.<尾碼>

   說明

   請根據下載檔案的類型，確保檔案尾碼名為.tar.gz或_qp.xb。

2. 執行如下命令在/test/mongo/中建立一個data目錄，並將下載的MongoDB物理備份檔案移動到/test/mongo/data/目錄中。

   mkdir -p /test/mongo/data && mv <物理備份檔案名.尾碼> /test/mongo/data

3. 對物理備份檔案執行解壓操作。

   • 當下載的物理備份檔案尾碼為.tar.gz時，例如檔案名稱為hins20190412.tar.gz時，請使用下述方法解壓。

     cd /test/mongo/data/ && tar xzvf hins20190412.tar.gz 

   • 當下載的物理備份檔案尾碼為_qp.xb時，例如檔案名稱為hins20190412_qp.xb，請使用下述方法解壓。

     1. 安裝percona-xtrabackup工具和qpress軟體包。詳情請參見PERCONA XtraBackup官網上的安裝步驟。

     2. 解壓物理備份檔案，例如Database Backup檔案名稱為hins20190412_qp.xb。

        # 進入檔案所在目錄。
        cd /test/mongo/data/
        # 解包。
        cat hins20190412_qp.xb | xbstream -x -v
        # 解壓物理備份檔案。
        innobackupex --decompress --remove-original /test/mongo/data

步驟三：以單節點模式恢複MongoDB物理備份的資料

1. 執行如下命令在/test/mongo檔案夾中建立設定檔mongod.conf。

   touch /test/mongo/mongod.conf

2. 在命令列中輸入vi /test/mongo/mongod.conf開啟mongod.conf檔案，鍵盤輸入i開啟編輯模式。

   根據云資料庫MongoDB版的儲存引擎選擇啟動的配置模板，您可以將其複製到mongod.conf檔案中。

   說明

   設定檔設定了啟動模式為單節點模式並開啟認證功能。

   • WiredTiger儲存引擎

     systemLog:
         destination: file
         path: /test/mongo/mongod.log
         logAppend: true
     security:
         authorization: enabled
     storage:
         dbPath: /test/mongo/data
         directoryPerDB: true
     net:
         port: 27017
         unixDomainSocket:
             enabled: false
     processManagement:
         fork: true
         pidFilePath: /test/mongo/mongod.pid

     說明

     ApsaraDB for MongoDB預設使用的是WiredTiger儲存引擎，並且開啟了directoryPerDB選項，因此配置中指定了這個選項。

   • RocksDB儲存引擎

     systemLog:
         destination: file
         path: /test/mongo/logs/mongod.log
         logAppend: true
     security:
         authorization: enabled​
     storage:
         dbPath: /test/mongo/data
             engine: rocksdb
     net:
         port: 27017
         unixDomainSocket:
             enabled: false
     processManagement:
         fork: true
         pidFilePath: /test/mongo/mongod.pid

3. 按Esc鍵退出編輯模式，鍵盤輸入:wq儲存並退出。

4. 指定建立的設定檔mongod.conf來啟動MongoDB。

   mongod -f /test/mongo/mongod.conf

5. 等待啟動完成後，執行如下命令登入MongoDB資料庫，進入Mongo Shell。

   mongo --host 127.0.0.1 -u <username> -p <password> --authenticationDatabase admin

   • <username>：該MongoDB執行個體的資料庫帳號，預設為root。

   • <password>：該資料庫帳號對應的密碼。

     說明

     如果您的密碼中包含特殊字元，則需要使用英文單引號（'）包裹密碼，如：'test123!@#'。否則可能會登入失敗。

6. 在Mongo Shell中，執行show dbs查詢當前本地MongoDB中所有的資料庫，以驗證是否恢複成功。

7. 至此恢複工作已成功完成，您可以在Mongo Shell中執行exit命令退出Mongo Shell。

完成上述步驟後，您即可使用單節點模式啟動MongoDB資料庫，如需使用複本集模式啟動資料庫，請參見步驟四。

步驟四：複本集模式啟動MongoDB資料庫

由於ApsaraDB for MongoDB的物理備份預設帶有原執行個體的複本集配置，您需要移除該配置才能使用複本集模式啟動，具體操作如下：

1. 在命令列中通過伺服器的Mongo Shell使用test使用者登入MongoDB資料庫。

   mongo --host 127.0.0.1 -u test -p <test使用者密碼> --authenticationDatabase admin

   說明

   如果您的密碼中包含特殊字元，則需要使用英文單引號（'）包裹密碼，如：'test123!@#'。否則可能會登入失敗。

2. 登入成功後，執行下方代碼框中的命令完成如下動作：

   1. 在admin庫中建立一個臨時使用者，賦予該使用者臨時的local庫讀寫權限。

   2. 切換至臨時使用者移除local庫中原有複本集配置。

   3. 切換回test使用者刪除臨時使用者和臨時許可權。

      說明

      請將下列代碼中的<test使用者密碼>部分替換成您test使用者的密碼後再執行。

   use admin
   db.runCommand({
       createRole: "tmprole",
       roles: [
           {
               role: "test",
               db: "admin"
           }
       ],
       privileges: [
           {
               resource: {
                   db: 'local',
                   collection: 'system.replset'
               },
               actions: [
                   'remove'
               ]
           }
       ]
   })
   db.runCommand({
       createUser: "tmpuser",
       pwd: "tmppwd",
       roles: [
           'tmprole'
       ]
   })
   db.auth('tmpuser','tmppwd')
   use local
   db.system.replset.remove({})
   use admin
   db.auth('test','<test使用者密碼>')
   db.dropRole('tmprole')
   db.dropUser('tmpuser')

3. 執行如下命令關閉MongoDB服務並退出Mongo Shell。

   use admin
   db.shutdownServer()
   exit

4. 棄置站台集認證檔案。

   如需以複本集模式啟動MongoDB，您需要建立一個key檔案作為每個複本集節點之間的認證檔案。

   1. 執行如下命令在mongo目錄下建立keyFile檔案夾作為認證檔案的目錄，並在該目錄中建立一個key檔案。

      mkdir -p /test/mongo/keyFile && touch /test/mongo/keyFile/mongodb.key

   2. 執行vi /test/mongo/keyFile/mongodb.key開啟mongodb.key檔案，按鍵盤上的i進入編輯模式，輸入加密內容。例如：

      MongoDB Encrypting File

      說明

      加密內容有如下幾個限制

      • 長度必須在6~1024個字元之間。

      • 只能包含base64編碼中的字元。

      • 不能包含等號（=）。

   3. 按Esc鍵退出編輯模式，輸入:wq儲存並退出檔案。

   4. 在命令列中執行如下命令將認證檔案的許可權修改為400，保證該檔案內容僅對該檔案所有者可見。

      sudo chmod 400 /test/mongo/keyFile/mongodb.key

   說明

   此認證檔案將應用於所有複本集節點。

5. 通過下列步驟為複本集準備兩個空的節點。

   1. 執行如下命令複製兩份mongod.conf檔案分別作為另外兩個節點的啟動設定檔。

      cp /test/mongo/mongod.conf /test/mongo/mongod1.conf && cp /test/mongo/mongod.conf /test/mongo/mongod2.conf

   2. 執行如下命令分別為另外兩個節點建立資料目錄。

      mkdir -p /test/mongo/data1 && mkdir -p /test/mongo/data2

6. 分別通過下列指示修改各節點的設定檔：

   • 執行vi /test/mongo/mongod.conf開啟節點1的設定檔，並按照如下內容修改完成後儲存退出。

     systemLog:
         destination: file
         path: /test/mongo/mongod.log
         logAppend: true
     security:
         authorization: enabled
         keyFile: /test/mongo/keyFile/mongodb.key
     storage:
         dbPath: /test/mongo/data
         directoryPerDB: true
     net:
         bindIp: 127.0.0.1
         port: 27017
         unixDomainSocket:
             enabled: false
     processManagement:
         fork: true
         pidFilePath: /test/mongo/mongod.pid
     replication:
         replSetName: "rs0"

   • 執行vi /test/mongo/mongod1.conf開啟節點2的設定檔，並按照如下內容修改完成後儲存退出。

     systemLog:
         destination: file
         path: /test/mongo/mongod1.log
         logAppend: true
     security:
         authorization: enabled
         keyFile: /test/mongo/keyFile/mongodb.key
     storage:
         dbPath: /test/mongo/data1
         directoryPerDB: true
     net:
         bindIp: 127.0.0.1
         port: 27018
         unixDomainSocket:
             enabled: false
     processManagement:
         fork: true
         pidFilePath: /test/mongo/mongod1.pid
     replication:
         replSetName: "rs0"

   • 執行vi /test/mongo/mongod2.conf開啟節點3的設定檔，並按照如下內容修改完成後儲存退出。

     systemLog:
         destination: file
         path: /test/mongo/mongod2.log
         logAppend: true
     security:
         authorization: enabled
         keyFile: /test/mongo/keyFile/mongodb.key
     storage:
         dbPath: /test/mongo/data2
         directoryPerDB: true
     net:
         bindIp: 127.0.0.1
         port: 27019
         unixDomainSocket:
             enabled: false
     processManagement:
         fork: true
         pidFilePath: /test/mongo/mongod2.pid
     replication:
         replSetName: "rs0"

   各重要參數說明如下：

   • systemLog.path下的path：當前節點的MongoDB記錄檔路徑，

   • dbpath：當前節點的MongoDB資料檔案路徑。

   • pidFilePath：當前節點的MongoDB的PID檔案（記錄進程ID的檔案）路徑。

   • keyFile：複本集認證檔案路徑，所有節點必須使用同一個認證檔案。

   • bindIp：當前節點的IP地址。如果是在同一台伺服器上部署複本集，所有節點可採用相同的IP地址。

   • port：當前節點的連接埠號碼。如果是在同一台伺服器上部署複本集，所有節點應採用不同的連接埠號碼。

   • replication：複本集配置。

   • replSetName：設定複本集的名稱。

7. 執行如下命令啟動3個節點。

   mongod -f /test/mongo/mongod.conf && mongod -f /test/mongo/mongod1.conf && mongod -f /test/mongo/mongod2.conf

8. 等待啟動完成後，使用test帳號登入MongoDB資料庫。

   mongo --host 127.0.0.1 -u test -p <test帳號的密碼> --authenticationDatabase admin

   說明

   如果您的密碼中包含特殊字元，則需要使用英文單引號（'）包裹密碼，如：'test123!@#'。否則可能會登入失敗。

9. 在Mongo Shell中通過如下命令將上述步驟中建立的複本集成員節點加入複本集並初始化。

   rs.initiate( {
      _id : "rs0",
      version : 1,
      members: [
         { _id: 0, host: "127.0.0.1:27017" , priority : 1},
         { _id: 1, host: "127.0.0.1:27018" , priority : 0},
         { _id: 2, host: "127.0.0.1:27019" , priority : 0}
      ]
   })

   初始化成功樣本：

   說明

   此步驟使用rs.initiate()命令進行操作，詳細命令用法請參見MongoDB官方文檔rs.initiate()命令介紹。

   執行成功後，新加入的兩個節點將會與主節點進行資料同步，注意此過程的耗時根據備份檔案的大小會有較大差異。等待資料同步完成後，複本集模式啟動完成。

10. 通過如下步驟驗證是否啟動成功。

    1. 執行exit退出Mongo Shell。

    2. 執行如下命令重新登入MongoDB資料庫。

       mongo -u <username> -p <password> --authenticationDatabase admin

       • <username>：該MongoDB執行個體的資料庫帳號，預設為root。

       • <password>：該資料庫帳號對應的密碼。

         說明

         如果您的密碼中包含特殊字元，則需要使用英文單引號（'）包裹密碼，如：'test123!@#'。否則可能會登入失敗。

    3. 觀察Mongo Shell命令列左側，顯示<複本集名稱>:PRIMARY>即代表複本集模式啟動成功。

常見問題

Q：為什麼我使用指定的mongod.conf設定檔啟動自建資料庫報錯？

Q：為什麼我使用指定的mongod.conf設定檔啟動複本集模式報錯？

A：您可能沒有將指定的keyFile認證檔案的許可權修改為600。請在命令列中通過sudo chmod 600 <keyFile檔案路徑>修改許可權後重新嘗試即可。

Q：為什麼通過複本集模式啟動MongoDB資料庫後系統變得很卡？

A：因為啟動完成後系統會自動開始同步Primary節點的資料到其他節點，等待資料同步完成即可。