AI、データウェアハウジング、ビッグデータ分析などのビジネスの発展に伴い、Object Storage Service (OSS) で実行されるビジネスの数が増加し、低いデータアクセス遅延と高いスループットが必要になります。 OSSにはOSSアクセラレータ機能があります。これにより、高性能NVMe SSDにホットオブジェクトをキャッシュするアクセラレータを作成して、ミリ秒以内の低レイテンシと高スループットでデータアクセスを提供できます。
メリット
低レイテンシ
アクセラレータのNVMe SSDメディアは、ビジネスにミリ秒レベルのダウンロード待ち時間を提供できます。 アクセラレータは、データウェアハウスおよび推論モデルのダウンロードにおけるホットデータクエリのパフォーマンスを向上させます。
高スループット
アクセラレータは、アクセラレータの1テラバイトのキャッシュ容量に対して最大2.4 Gbit/sのスループットを提供します。 アクセラレータは、少量のデータに対して高いスループットを提供し、少量のホットデータに対してバースト読み取り要件を満たすことができます。
スループットの向上
アクセラレータの帯域幅は、アクセラレータのキャッシュ容量とともに線形に増加し、最大数百Gbit/sのバーストスループットを提供します。
自動スケーリング
ほとんどの場合、コンピューティングタスクは、必要なリソースの量に対して異なる要件を持つ定期的なタスクです。 ビジネスを中断することなく、要件に基づいてアクセラレータのキャッシュ容量をスケールアップまたはスケールダウンできます。 これにより、リソースの無駄とコストを削減できます。 アクセラレータは、少なくとも50 GBのキャッシュ容量と最大100テラバイトのキャッシュ容量をサポートします。 アクセラレータは、OSSの大規模データストレージの利点を継承し、データウェアハウス内の複数のテーブルまたはパーティションを直接キャッシュできます。
分離されたストレージとコンピューティング
コンピューティングサーバーのキャッシュ容量と比較して、アクセラレータはコンピューティングサーバーから独立している可能性があり、ビジネスを中断することなく、アクセラレータのキャッシュ容量とパフォーマンスをオンラインで変更できます。
データの整合性
従来のキャッシュソリューションと比較して、OSSアクセラレータ機能はデータの一貫性を保証します。 OSSバケット内のオブジェクトを更新すると、アクセラレータはオブジェクトの最新バージョンを自動的に識別してキャッシュし、コンピューティングエンジンがオブジェクトの最新バージョンを読み取ることができるようにします。
複数のウォームアップポリシー
アクセラレータは、OSSで更新されたオブジェクトを自動的に識別して、エンジンが最新のデータを読み取ることができるようにします。 アクセラレータは、次のウォームアップポリシーを提供します。
読み取り中のウォームアップ: 要求されたデータがキャッシュにヒットしない場合、アクセラレータはデータが格納されているバケットからデータを自動的に取得し、そのデータをアクセラレータにキャッシュします。
同期ウォームアップ: データがOSSに書き込まれると、データが同期され、アクセラレータにキャッシュされます。
非同期ウォームアップ: OSS内のデータをOSSアクセラレータにバッチキャッシュするパラメーターを設定できます。
説明デフォルトでは、読み取り中のウォームアップは有効であり、設定できません。
同期ウォームアップまたは非同期ウォームアップを有効にする場合は、手動で有効にする必要があります。 同期ウォームアップと非同期ウォームアップを同時に有効にできます。
制御ポリシー機能の動作
アクセラレータが作成されると、そのリージョン専用の内部アクセラレーションエンドポイントが作成されます。 アクセラレータにキャッシュされているリソースには、内部ネットワーク経由でのみアクセスできます。 たとえば、中国 (北京) リージョンのアクセラレーションエンドポイントは http://cn-beijing-internal.oss-data-acc.aliyuncs.com です。 アクセラレータと同じ仮想プライベートクラウド (VPC) にいる場合、アクセラレーションエンドポイントを使用して、アクセラレータにキャッシュされているリソースにアクセスできます。 次の図は、アクセラレーションエンドポイントを使用して、アクセラレータにキャッシュされているリソースにアクセスする方法を示しています。
書き込みリクエスト
読み取り中のウォームアップ: クライアントからアクセラレータのアクセラレーションエンドポイントに送信された書き込みリクエストは、OSSバケットに転送されます。 このプロセスは、OSSバケットのデフォルトドメイン名が使用されるプロセスに似ています。
同期ウォームアップ: クライアントからアクセラレーションエンドポイントに送信された書き込みリクエストは、OSSバケットとOSSアクセラレータに転送されます。
非同期ウォームアップ: ウォームアップが必要なデータは、読み取り要求が転送される前に、事前にOSSアクセラレータに書き込まれます。
同期ウォームアップ + 非同期ウォームアップ: リクエストはOSSバケットとOSSアクセラレータに転送されます。 ホットデータは、読み取り要求が転送される前に、事前にOSSアクセラレータに書き込まれます。
読み取りリクエスト
説明読み取り要求は、異なるウォームアップポリシーで同じ方法で処理されます。
クライアントからアクセラレーションエンドポイントに送信された読み取り要求は、アクセラレータに転送されます。
アクセラレータは、読み出し要求を受信すると、キャッシュ内の要求されたオブジェクトを検索する。
要求されたオブジェクトがアクセラレータにキャッシュされている場合、オブジェクトはクライアントに返されます。
要求されたオブジェクトがアクセラレータにキャッシュされていない場合、アクセラレータはアクセラレータにマップされているOSSバケットからオブジェクトを要求します。 OSSがリクエストを受信すると、リクエストされたオブジェクトがアクセラレータにキャッシュされます。 次に、アクセラレータはオブジェクトをクライアントに返します。
アクセラレータのキャッシュ容量が使い果たされた場合、アクセラレータは、比較的高い頻度でアクセスされるキャッシュされたオブジェクトに優先順位を付ける。
シナリオ
OSSアクセラレータ機能は、高帯域幅が必要で、データが繰り返し読み取られるシナリオに適しています。 例：
低遅延データ共有
背景情報
顧客が自動販売機から商品を購入すると、顧客はモバイルアプリを使用してコンテナ内の商品をスキャンし、写真を撮り、写真をアップロードします。 アプリケーションバックエンドがピクチャを受信した後、アクセラレータはピクチャを記憶する。 次いで、バックグラウンドサブシステムは、画像に対してコンテンツモデレーション分析およびバーコード認識を実行し、バーコード認識の結果は、料金控除および他の操作のためにアプリケーションバックエンドに返される。 画像はミリ秒以内にダウンロードする必要があります。
解決策
アクセラレータの同期ウォームアップポリシーを使用します。 アクセラレータは、画像を分析システムにロードする待ち時間を効果的に短縮し、トランザクションリンクを短縮できます。 OSSアクセラレータ機能は、レイテンシに敏感で、データが繰り返し読み取られるビジネスに適しています。
モデル推論
背景情報
推論サーバーは、AI生成コンテンツ (AIGC) モデル推論のためにモデルオブジェクトをプルしてロードする必要があります。 推論およびデバッグ中、推論サーバーは新しいモデルオブジェクトを常に切り替える必要もあります。 モデルオブジェクトのサイズが大きくなると、推論サーバがモデルオブジェクトをプルしてロードできるようにするために、より長い時間が必要になる。
解決策
非同期ウォームアップポリシーまたはOSSアクセラレータ機能の読み取りポリシー中のウォームアップを使用します。 OSSアクセラレータ機能の非同期ウォームアップポリシーは、ホットモデルオブジェクトのリストを決定できるシナリオに適しています。 読み取りポリシー中のウォームアップは、ホットモデルオブジェクトのリストを特定できないシナリオに適しています。 ホットモデルオブジェクトのリストを確認できる場合は、特定のキャッシュ容量のアクセラレータを設定し、アクセラレータSDKを使用してオブジェクトを事前にアクセラレータに保存できます。 以前の経験に基づいて、特定のキャッシュ容量のアクセラレータを設定することもできます。 アクセラレータは、後続の読み取りで迅速にアクセスできるようにデータを読み取るときに、アクセラレータの高性能メディアにモデルオブジェクトを自動的にキャッシュします。 アクセラレータのキャッシュ容量は、アクセラレーション要件に基づいていつでもスケーリングできます。 推論サーバーがローカルディレクトリからOSSにアクセスする必要がある場合は、ossfsをデプロイする必要があります。
ビッグデータ分析
背景情報
会社のビジネスデータは日ごとに分割され、OSSに長期間保存されます。 アナリストは、HiveやSparkなどのコンピューティングエンジンを使用してデータを分析しますが、クエリ範囲については不明です。 アナリストは、クエリと分析に必要な時間を短縮する必要があります。
解決策
OSSアクセラレータ機能の読み取りポリシー中にウォームアップを使用します。 このポリシーは、大量のデータが保存され、データクエリ範囲が不確実で、データを正確にウォームアップできないオフラインクエリシナリオに適しています。 たとえば、アナリストAによって照会されたデータは、アクセラレーションクラスターにキャッシュされます。 アナリストBによって照会されたデータがアナリストAによって照会されたデータを含む場合、データ分析は加速される。
マルチレベルアクセラレーション
背景情報
クライアント側のキャッシュとサーバー側のアクセラレーションの間に競合はありません。 ビジネス要件に基づいてマルチレベルの高速化を実現したい場合。
解決策
OSSアクセラレータをクライアント側のキャッシュと一緒に使用します。 Alluxioをコンピューティングクラスターと一緒にデプロイすることを推奨します。 読み取るデータがAlluxioキャッシュ内のデータと一致しない場合、データはバックエンドストレージから読み取られます。 OSSアクセラレータは、読み取りポリシー中にウォームアップを使用し、データが最初に読み取られたときにデータをウォームアップします。 クライアントホストのキャッシュ容量の制限により、AlluxioのオブジェクトとディレクトリごとにTime to live (TTL) が設定されます。 TTL期間が終了すると、ストレージスペースを節約するためにキャッシュが削除されます。 この場合、OSSアクセラレータのデータはすぐには削除されず、そのキャッシュ容量は数百TBのデータを保存できます。 Alluxioキャッシュ内のデータと一致しないデータが再度読み取られると、データをOSSアクセラレータから直接ロードして、2レベルのアクセラレーションを実装できます。
メトリックの説明
メトリクス | 説明 |
キャッシュ容量 |
ビジネスでより大きなキャッシュ容量が必要な場合は、 チケットを起票してサポートセンターにお問い合わせください。 |
Acceleratorのスループット | アクセラレータは、設定されたキャッシュ容量に基づいて、アクセラレータにキャッシュされたデータのスループット帯域幅を提供します。 アクセラレータは、アクセラレータの1テラバイトのキャッシュ容量に対して最大2.4 Gbit/sのスループットを提供します。 アクセラレータによって提供されるスループットは、OSSによって提供される標準スループットによって制限されません。 OSSの標準帯域幅制限の詳細については、「制限とパフォーマンスメトリック」をご参照ください。 たとえば、OSSは中国 (深セン) リージョンで100 Gbit/sの標準帯域幅を提供します。 OSSアクセラレータ機能を有効にし、10テラバイトのキャッシュ容量を持つアクセラレータを作成した後、アクセラレータのアクセラレーションエンドポイントを使用してアクセラレータにキャッシュされているデータにアクセスすると、アクセラレータによって提供される追加の24 Gbit/sの低遅延スループットを取得できます。 バッチオフラインコンピューティングアプリケーションの場合、OSS内部エンドポイントを使用すると、大規模な同時ブロック読み取りに100 Gbit/sの標準スループットを利用できます。 ホットデータクエリサービスの場合、アクセラレータのアクセラレーションエンドポイントを使用して、アクセラレータのNVMe SSDメディアにキャッシュされているデータにアクセスすると、さらに24 Gbit/sの低遅延スループットを取得できます。 |
ピーク読み取り帯域幅 | 数式: MAX[600,600 × キャッシュ容量 (TB)] MB/s
たとえば、アクセラレータが2,048 GB (2テラバイト) のキャッシュ容量を提供する場合、読み取り帯域幅は (600 + 600)= 1200メガバイト/秒です。 |
最大読み取り帯域幅 | 40 GB/s ビジネスでより大きな読み取り帯域幅が必要な場合は、 チケットを起票してサポートセンターにお問い合わせください。 |
単一の要求で128 KBのデータを読み取るための最小レイテンシ | <10 ms |
スケールアップまたはスケールダウン間隔 | 1時間に1回 |
スケールアップまたはスケールダウン方法 | OSSコンソールで手動でスケールアップまたはスケールダウンする |
キャッシュ削除ポリシー | キャッシュは、LRU (Least Recently Used) アルゴリズムに基づいて削除されます。 LRUアルゴリズムは、頻繁にアクセスされるデータを保持し、長時間アクセスされないデータを優先的に削除するために使用される。 この場合、キャッシュ容量が効率的に使用される。 |
課金ルール
OSSアクセラレータ機能はパブリックプレビュー中です。 パブリックプレビューでは、最大100 GBのキャッシュ容量が無料で提供されます。 パブリックプレビューが終了すると、従量課金の課金方法に基づいて、アクセラレータの実際のキャッシュ容量が課金されます。
アクセラレータのアクセラレーションエンドポイントを使用してOSSからデータを読み書きする場合、オリジンフェッチリクエストが送信されなくても、OSS API操作呼び出し料金が請求されます。
時間単位で生成されたOSS課金データをクエリする方法の詳細については、「時間単位で生成されたOSS課金データのクエリ」および「課金のクエリ」をご参照ください。
次に何をすべきか
アクセラレータの作成方法とアクセラレータのキャッシュ容量の変更方法の詳細については、「アクセラレータの作成」をご参照ください。
OSSツールおよびOSS SDKとともにOSSアクセラレータ機能を設定および使用する方法の詳細については、「OSSアクセラレータの使用」をご参照ください。
特定のビジネスシナリオでOSS内部エンドポイントとアクセラレータを使用してリソースにアクセスする場合のパフォーマンスの違いの詳細については、「パフォーマンス指標」をご参照ください。