Object Storage Service:OSSアクセラレータの使用

メトリックの説明

前提条件

バケットは、OSSアクセラレータ機能がパブリックプレビューされている次のリージョンのいずれかにあります。中国 (杭州) 、中国 (上海) 、中国 (北京) 、中国 (ウランカブ) 、中国 (深セン) 、シンガポールです。

使用上の注意

• アクセラレータのアクセラレーションエンドポイントを使用して、内部ネットワーク経由でのみアクセラレータのリソースにアクセスできます。 インターネット経由でアクセスされるOSSデータをキャッシュする場合は、Alibaba Cloud CDNの使用を推奨します。

• OSSアクセラレータにキャッシュされたデータは、バケット内のオブジェクトの単一のコピーです。 キャッシュハードウェアに障害が発生した場合、OSSからデータを再度プリフェッチする必要があります。 プリフェッチが完了する前にアクセス速度が低下する。

課金ルール

• OSSアクセラレータ機能はパブリックプレビュー中です。 パブリックプレビューでは、最大100 GBのキャッシュ容量が無料で提供されます。 パブリックプレビューが終了すると、OSSアクセラレータの実際のキャッシュ容量に対して従量課金で課金されます。

• アクセラレータのアクセラレーションエンドポイントを使用してOSSデータを読み書きすると、オリジンフェッチリクエストが送信されなくても、OSS API操作呼び出し料金が請求されます。

シナリオ

OSSアクセラレータ機能は、高帯域幅が必要で、データが繰り返し読み取られるシナリオに適しています。

メリット

• 低レイテンシ

  OSSアクセラレータのNVMe SSDメディアは、ビジネス用にミリ秒レベルのダウンロード待ち時間を提供できます。これは、大規模なオブジェクトダウンロードシナリオに特に適しています。 OSSアクセラレータは、データウェアハウスのホットデータクエリと推論モデルのダウンロードのパフォーマンスを向上させます。

• スループットの向上

  アクセラレータの帯域幅は、アクセラレータのキャッシュ容量とともに線形に増加し、最大数百GB/sのバーストスループットを提供します。

• 自動スケーリング

  ほとんどの場合、コンピューティングタスクは、必要なリソースの量に対して異なる要件を持つ定期的なタスクです。 ビジネスを中断することなく、要件に基づいてOSSアクセラレータのキャッシュ容量をスケールアップまたはスケールダウンできます。 これにより、リソースの無駄とコストを削減できます。 アクセラレータは、少なくとも50 GBのキャッシュ容量と最大100テラバイトのキャッシュ容量をサポートします。 OSSアクセラレータは、OSS大規模データストレージの利点を継承し、データウェアハウス内の複数のテーブルまたはパーティションを直接キャッシュできます。

• 高スループット

  OSSアクセラレータは、少量のデータに対して高スループットを提供し、少量のホットデータに対するバースト読み取り要件を満たすことができます。

• 分離されたストレージとコンピューティング

  コンピューティングサーバーのキャッシュ容量と比較して、OSSアクセラレータはコンピューティングサーバーから独立しているため、ビジネスを中断することなく、OSSアクセラレータのキャッシュ容量とパフォーマンスをオンラインで調整できます。

• データの整合性

  従来のキャッシュソリューションと比較して、OSSアクセラレータ機能はデータの一貫性を保証します。 OSSバケット内のオブジェクトを更新すると、アクセラレータはオブジェクトの最新バージョンを自動的に識別してキャッシュし、コンピューティングエンジンがオブジェクトの最新バージョンを読み取ることができるようにします。

• 複数のウォームアップポリシー

  OSSアクセラレータは、OSSで更新されるオブジェクトを自動的に識別して、エンジンが最新のデータを読み取ることができるようにします。 OSSアクセラレータは、次のウォームアップポリシーを提供します。

  • 同期ウォームアップ: データがOSSに書き込まれると、データが同期され、アクセラレータにキャッシュされます。

  • 読み取り中のウォームアップ: リクエストしたデータがキャッシュにヒットしない場合、OSSアクセラレータは自動的にデータをOSSアクセラレータにキャッシュします。

  • 非同期ウォームアップ: コマンドを実行して、OSS内のデータをOSSアクセラレータにバッチキャッシュできます。

制御ポリシー機能の動作

アクセラレータが作成されると、そのリージョン専用の内部アクセラレーションエンドポイントが作成されます。 たとえば、中国 (北京) リージョンのアクセラレーションエンドポイントは http://cn-beijing-internal.oss-data-acc.aliyuncs.com です。 アクセラレータと同じ仮想プライベートクラウド (VPC) にいる場合、アクセラレーションエンドポイントを使用して、アクセラレータにキャッシュされているリソースにアクセスできます。 次の図は、アクセラレーションエンドポイントを使用して、アクセラレータにキャッシュされているリソースにアクセスする方法を示しています。

性能比較

• 応答レイテンシ統計のダウンロード

  OSSとOSSアクセラレータを使用して、サイズが10 MBのオブジェクトをテスト用に複数回ダウンロードし、応答レイテンシをミリ秒単位で計算します。 結果は、OSSアクセラレータを使用すると、レイテンシが10倍短縮されることを示しています。

  次の図で、P50は50% のリクエストが現在のレイテンシ統計を満たすことを示し、P999は99.9% のリクエストが現在のレイテンシ統計を満たすことを示します。

  

• クラウドのデータレイクとデータウェアハウス

  ユーザーは、ローカルディスク、OSS、およびOSSアクセラレータをストレージメディアとしてテストします。

  • Latency

    シナリオ	ローカルCacheFS (ローカルディスク)	OSS	OSSキャッシュ (アクセラレータ)
    ポイントクエリ	382 ms	2451 ms	1160 ms
    1,000データ項目に対するランダムクエリ	438 ms	3786 ms	1536 ms
    データの10% に関するランダムクエリ	130564 ms	345707 ms	134659 ms
    フルスキャン	171548 ms	398681 ms	197134 ms

  • パフォーマンス

    • オンラインクエリ中、OSSアクセラレータの応答時間はOSSの応答時間の2〜2.5倍になります。 データの10% に対するフルスキャンおよびランダムクエリ中、OSSアクセラレータのパフォーマンスは、OSSのパフォーマンスおよびローカルESSD CacheFSのパフォーマンスの2〜2.5倍に85% ます。

    • オンラインクエリ中、OSSアクセラレータへの1回のリクエストの固定レイテンシは8〜10 msです。 1,000データ項目およびポイントクエリに対するランダムクエリの間、OSSアクセラレータのパフォーマンスは、OSSのパフォーマンスおよびローカルESSD CacheFSのパフォーマンスの30% よりも1.5 3倍高くなります。

  • コンテナと自動運転のシミュレーショントレーニング

    画像、マップ、ログデータを取得するために、多数のコンテナが同時に起動されます。 シミュレーショントレーニングの全体的な期間は60% 短縮されます。

    タイプ	データ量	ピーク帯域幅	有効期間
    OSS	204 TB	100 Gbit/s	2.2時間
    OSSアクセラレータ	128 TB	300 Gbit/s	40分

• Acceleratorのスループット

  アクセラレータは、設定されたキャッシュ容量に基づいて、アクセラレータにキャッシュされたデータのスループット帯域幅を提供します。 アクセラレータは、アクセラレータの1テラバイトのキャッシュ容量に対して最大2.4 Gbit/sのスループットを提供します。 アクセラレータによって提供されるスループットは、OSSによって提供される標準スループットによって制限されません。 OSSの標準帯域幅制限の詳細については、「制限とパフォーマンスメトリック」をご参照ください。

  たとえば、OSSは中国 (深セン) リージョンで100 Gbit/sの標準帯域幅を提供します。 OSSアクセラレータ機能を有効にし、キャッシュ容量が10テラバイトのOSSアクセラレータを作成した後、アクセラレータのアクセラレーションエンドポイントを使用してアクセラレータにキャッシュされているデータにアクセスすると、アクセラレータが提供する追加の24 Gbit/sの低遅延スループットを取得できます。 バッチオフラインコンピューティングアプリケーションの場合、OSS内部エンドポイントを使用すると、大規模な同時ブロック読み取りに100 Gbit/sの標準スループットを利用できます。 ホットデータクエリサービスの場合、アクセラレータのアクセラレーションエンドポイントを使用して、アクセラレータのNVMe SSDメディアにキャッシュされたデータにアクセスすると、さらに24 Gbit/sの低遅延スループットを得ることができます。

アクセラレータを作成します。

1. アクセラレータを作成します。

   1. にログインします。OSSコンソール.

   2. 左側のナビゲーションウィンドウで、バケットリスト をクリックします。 [バケット] ページで、目的のバケットを見つけてクリックします。

   3. 左側のナビゲーションツリーで、[バケット設定] > [OSSアクセラレータ] を選択します。

   4. [OSSアクセラレータ] ページで、[設定] をクリックします。

   5. [メモ] ダイアログボックスで、[試用期間] を選択し、[次へ] をクリックします。

   6. [アクセラレーターの作成] パネルで、容量 パラメーターを設定し、[次へ] をクリックします。

2. アクセラレータのポリシーを設定します。

   1. [アクセラレータの作成] パネルで、次のパラメーターを設定します。

      パラメーター	説明
      アクセラレーションポリシー	アクセラレータの次のいずれかのポリシーを選択します。 パス: パス内のオブジェクトへのアクセスが高速化されます。 最大10個のパスを設定できます。 設定されたパス内のオブジェクトへのアクセスのみが高速化されます。 たとえば、ルートディレクトリのexampleディレクトリにあるオブジェクトへのアクセスを高速化する場合は、パスをexample/ に設定します。 バケット全体: バケット内のすべてのオブジェクトへのアクセスが高速化されます。
      [B@5a10616	同期キャッシュウォームアップを有効にすることを推奨します。 これを有効にすると、クライアントがアクセラレータのアクセラレータエンドポイントを使用してPutObjectまたはAppendObjectを呼び出してOSSにデータを書き込むと、データはOSSバケットとアクセラレータに同時に書き込まれます。 アクセラレータを低レイテンシで使用することで、次回データを読み取ることができます。

   2. [作成] をクリックします。 [請求項目の確認] メッセージボックスで、[OK] をクリックします。

アクセラレータを使用する

次のセクションでは、アクセラレータを使用して、バケット内のすべてのデータまたは特定のパス内のデータへのアクセスを高速化する方法について説明します。

// OSSアクセラレータのアクセラレーションエンドポイントを指定します。 
文字列acclerator_oss_endpoint = " http://cn-beijing-internal.oss-data-acc.aliyuncs.com ";
// OSSClientインスタンスを作成します。 
OSS ossClient = new OSSClientBuilder().build(normal_oss_endpoint, accessKeyId, accessKeySecret);

OSSObject ob = ossClient.getObject(bucketName,objectname);
OSSObject ob = ossClient.putObject(bucketName、objectname、inputStream); 

特定のパスのデータへのアクセスを高速化

次のいずれかのタイプのエンドポイントを使用して、データの読み書き分離を実装できます。

• oss-cn-beijing.aliyuncs.com: パブリックOSSエンドポイントを使用してOSSにアップロードまたはnormal_data/* からダウンロードされた通常のデータ。

• oss-cache-cn-beijing-h.aliyuncs.com: アクセラレータのアクセラレーションエンドポイントを使用してhot_data/* からダウンロードされたホットデータ。

次のサンプルコードは、特定のパスのデータへのアクセスを高速化する方法の例を示しています。

public class Demo {
    // AccessKeyIdとAccessKeySecret環境変数が設定されていることを確認します。 
    プライベート静的文字列accesseyId=System.getenv("AccessKeyId");
    プライベート静的文字列accessKeySecret = System.getenv("AccessKeySecret");

    // OSSエンドポイントを使用して、OSSバケットにデータをアップロードします。 
    プライベート静的文字列normal_oss_endpoint = " https://oss-cn-hangzhou.aliyuncs.com ";

    // OSSアクセラレータのアクセラレーションエンドポイントを使用してデータをダウンロードします。 
    プライベート静的文字列acclerator_oss_endpoint = " https://cn-hangzhou-internal.oss-data-acc.aliyuncs.com ";
    // バケットの名前を指定します。 例: examplebucket. 
    プライベート静的文字列bucketName = "examplebucket";
    // ホットデータが格納されるオブジェクトの名前を指定します。 
    プライベート静的文字列object_hot = "hot_data/filetest";
    // 正規データが格納されるオブジェクトの名前を指定します。 
    プライベート静的文字列object_normal = "normal_data/filetest";
    // アップロードするオブジェクトのコンテンツを指定します。 
    プライベート静的文字列content = "helloworld";

    public static void main(String[] args) throws IOException {

        // Create an OSSClient instance. 
        OSS ossClient = new OSSClientBuilder().build(normal_oss_endpoint, accessKeyId, accessKeySecret);

        // object_hotファイルのデータをOSSにアップロードします。 
        uploadFile(object_hot、ossClient);

        // object_normalファイルのデータをOSSにアップロードします。 
        uploadFile(object_normal、ossClient);

        // OSSアクセラレータからhot_data/filetestオブジェクトをダウンロードします。 
        downloadFile(object_hot、ossClient);

        // OSSからnormal_data/filetestオブジェクトをダウンロードします。 
        downloadFile(object_normal、ossClient);

        // Shut down the OSSClient instance. 
        ossClient.shutdown();

    }

    public static void printObjectContent(OSSObject ob) throws IOException {
        .net // オブジェクトの内容を読み取ります。 
        BufferedReader reader = new BufferedReader(new InputStreamReader(ob.getObjectContent()));
        一方、（TRUE）{
            String line = reader.readLine();
            if (line == null) { break; }

            System.out.println("content:" + line);
        }
    }

    /*
    * すべてのファイルをOSSにアップロードします。 
     */
    public static void uploadFile(String objectName, OSS ossClient) {
        ByteArrayInputStream byteArrayInputStream = new ByteArrayInputStream(content.getBytes());
        InputStream contentInputStream = (InputStream) byteArrayInputStream;

        PutObjectRequest putObjectRequest=新しいPutObjectRequest(bucketName, objectName, contentInputStream);
        // エンドポイントを明示的に指定しない場合は、ossclient初期化時に指定された値が使用されます。 
        PutObjectResult result = ossClient.putObject(putObjectRequest);
        System.out.println("Put objectName:" + objectName + "to" normal_oss_endpoint + "resultID:" + result.getRequestId());
        putObjectRequest.setEndPoint(normal_oss_endpoint);

    }

    /*
     * objectNameのプレフィックスに基づいて、使用するエンドポイントを決定します。 
     */
    public static Object downloadFile(String objectName、OSS ossClient) がIOException {
        String endpoint = "";
        if (objectName.startsWith("normal_data")) {
            endpoint = normal_oss_endpoint;
        } else if (objectName.startsWith("hot_data")) {
            endpoint = acclerator_oss_endpoint;
        }

        GetObjectRequest getObjectRequest = new GetObjectRequest(bucketName, objectName);
        // エンドポイントを明示的に指定しない場合は、ossclient初期化時に指定された値が使用されます。 
        getObjectRequest.setEndPoint (エンドポイント);
        OSSObject ob = ossClient.getObject(getObjectRequest);
        System.out.println("Get Object" + objectName + "from" + endpoint + "resultID" + ob.getRequestId());
        printObjectContent(ob);

        obを返します。
    }
}

アクセラレータのキャッシュ容量の変更

アクセラレータのキャッシュ容量をスケールアップまたはスケールダウンするには、次の手順を実行します。

1. では、基本情報のセクションOSSアクセラレータページをクリックし、右上隅のアイコン。

2. では、OSSアクセラレータの編集パネルの値を変更します。容量パラメーターを使用します。

3. クリックOK.