このトピックでは、webベースのサービスプロバイダーのデータをクラウドサービスからAlibaba cloud Object Storage service (OSS) に移行する方法について説明します。
背景情報
エンタープライズAは、画像やビデオなどのメディアファイルを編集するためのサービスを提供するwebベースのサービスプロバイダーです。 主なビジネスアプリケーションは、エンタープライズBが提供するクラウドベースのアーキテクチャで展開されます。エンタープライズBのサーバーに保存されているデータには100,000,000ファイルが含まれ、合計サイズは約320テラバイトです。 データのサイズは毎日20 GB増加します。 エンタープライズB 250メガバイト/秒のストレージサービスの帯域幅。 OSSの帯域幅も250メガバイト/秒です。 ビジネスアプリケーションには、最大50メガバイト/秒の帯域幅が必要です。
ビジネスの成長を加速するために、エンタープライズAはビジネスアプリケーションをOSSに移行したいと考えています。 既存のデータと増分データの両方をOSSに移行する必要があります。 大量の履歴データとビジネスの継続性を正常に移行するには、次の要件を満たす必要があります。
移行中、ユーザーは通常どおりデータを読み取ることができます。
移行後、データは完了し、サービスを中断することなくビジネスアプリケーションを期待どおりに実行できます。
移行ソリューション
次のデータ移行ソリューションは、お客様の要件と背景情報に基づいています。
Data Online Migrationを使用して、Enterprise Aの既存のデータを、Enterprise Bが提供するクラウドサービスからOSSに移行します。 移行プロセス全体で顧客がデータを更新しないようにしてください。
既存のデータの移行後、移行された増分データにユーザーがアクセスできるように、OSSでback-to-originルールを作成します。
ビジネスアプリケーションをOSSに切り替えます。
ビジネスアプリケーションをOSSに切り替えた後、Data Online Migrationを使用して増分データをOSSに移行します。
すべてのデータが移行および検証されたら、元のソースからデータを削除します。
ステップ1: 既存のデータを移行する
移行されたデータを保存するOSSバケットを作成します。 詳細については、「バケットの作成」をご参照ください。
データの移行に使用されるAccessKeyペアを取得します。
エンタープライズBが提供するAccessKeyペアを取得するには、クラウドサービスコンソールにログインし、AccessKeyペアを表示します。
OSS Resource Access Management (RAM) ユーザーのAccessKeyペアを取得します。 詳細については、「RAMユーザーの作成とRAMユーザーへの権限付与」をご参照ください。
データアドレスと完全移行ジョブを作成します。 詳細については、 のデータ移行チュートリアルに関するトピックを参照してください。
[ジョブ設定] ステップで、移行ジョブを設定します。 次の図に、設定の例を示します。
[パフォーマンス] ステップで、パフォーマンスパラメーターを設定します。 次の図に、設定の例を示します。
移行後、移行レポートを表示し、ソースデータアドレスと宛先データアドレスの間でデータを比較して、すべてのデータが移行されていることを確認します。
説明ファイルの移行に失敗した場合は、障害のトラブルシューティングを行います。 移行の失敗については、「移行の失敗と解決策の一般的な原因」をご参照ください。
ステップ2: back-to-originルールの作成
既存のデータの移行には約25日かかります。 移行プロセス中、ソースデータアドレスのデータは継続的に増加しています。 ビジネスの継続性とシームレスなビジネス切り替えを確保するには、back-To-originルールを作成します。 リクエストしたファイルがOSSに存在しない場合、OSSはソースデータアドレスからファイルを取得し、back-to-originルールに基づいて返されます。
OSS コンソールにログインします。
バケットのリストで、移行されたデータが格納されているバケットを選択します。
左側のナビゲーションウィンドウで、[基本設定] > [Back-to-Origin] を選択します。 次に、[設定] をクリックします。
[ルールの作成]]をクリックします。 [ルールの作成] ダイアログボックスで、パラメーターを設定します。
モード: [ミラーリング] を選択します。
前提条件: デフォルトでは、HTTPステータスコード404が選択されています。 ニーズに応じてファイル名プレフィックスを設定します。 ファイル名プレフィックスは空のままにできます。
オリジンURL: ソースデータが存在するクラウドサービスのエンドポイントを入力します。
パラメーター設定の詳細については、「back-to-originルールの作成」をご参照ください。
説明最大5つのback-to-originルールを作成できます。 5つのルールを同時に有効にすることができます。 複数のソースデータアドレスに対して、複数のback-to-originルールを作成できます。 OSSがさまざまな種類のデータを取得できるように、ファイル名プレフィックスに異なる値を指定することで、異なるルールを設定できます。
[OK] をクリックします。
手順3: ビジネスをOSSに切り替える
エンタープライズAがデータを取得するデータアドレスをOSSデータアドレスに変更します。
ステップ4: 増分データの移行
既存のデータの移行中に、合計サイズが約500 GBの約100,000のファイルがソースデータアドレスで生成されます。 これらの増分データをOSSに移行する必要があります。
手順1の手順に基づいて、増分移行ジョブを作成します。
[ジョブ設定] ステップで、移行ジョブを設定します。 次の図に、設定の例を示します。
[パフォーマンス] ステップで、パフォーマンスパラメーターを設定します。 次の図に、設定の例を示します。
[作成] をクリックしてデータを移行します。
移行後、移行レポートを表示し、ソースデータアドレスと宛先データアドレスの間でデータを比較して、すべてのデータが移行されていることを確認します。
説明ファイルの移行に失敗した場合は、障害のトラブルシューティングを行います。 移行の失敗については、「移行の失敗と解決策の一般的な原因」をご参照ください。
ステップ5: ソースデータアドレスのデータを削除する
ライフサイクルルールを作成して、すべてのデータが移行されてから1日後にソースデータアドレスのファイルを削除できます。 これにより、データが移行されてから1日後にソースデータアドレスにデータを格納することに対して課金されなくなります。