AnalyticDB:湖のキャッシュ

前提条件

AnalyticDB for MySQLData Lakehouse Editionクラスターが作成されます。

概要

仕組み

次のセクションでは、lakeキャッシュ機能の動作について説明します。

1. レイクキャッシュクライアントがOSSに読み取り要求を送信すると、読み取り要求はレイクキャッシュマスターノードに転送され、オブジェクトメタデータが要求されます。

2. レイクキャッシュマスターノードは、オブジェクトメタデータをレイクキャッシュクライアントに返します。

3. lakeキャッシュクライアントは、オブジェクトメタデータを使用して、OSSオブジェクトの要求をlakeキャッシュワーカーノードに送信します。

   • 要求されたオブジェクトがレイクキャッシュワーカーノードに格納されている場合、ワーカーノードはオブジェクトをレイクキャッシュクライアントに返します。

   • 要求されたオブジェクトがlakeキャッシュワーカーノードに格納されていない場合、lakeキャッシュ機能はOSSからオブジェクトを取得します。 次に、レイクキャッシュ機能は、オブジェクトをレイクキャッシュクライアントに返し、オブジェクトをキャッシュスペースに格納します。

課金ルール

レーキキャッシュ機能を有効にすると、従量課金の課金方法に基づいて、使用済みキャッシュスペースに対して課金されます。 詳細については、「

Data LakehouseEditionの価格。

使用上の注意

• レイクキャッシュ機能は、中国 (杭州) 、中国 (上海) 、中国 (北京) 、中国 (張家口) 、中国 (深セン) 、シンガポール、米国 (バージニア) のリージョンでのみサポートされています。

  重要

  レイクキャッシュ機能を他のリージョンで使用する場合は、

  チケットを起票します。

• キャッシュハードウェアで障害が発生した場合、データクエリは中断されませんが、速度が低下します。 キャッシュされたデータがOSSからプリプリフェッチされると、クエリ速度が復元されます。

• レイクキャッシュ機能によって使用されるキャッシュスペースが上限に達すると、レイクキャッシュ機能は、キャッシュスペース内のアクセス頻度の低いオブジェクトをアクセス頻度の高いオブジェクトに置き換えます。 キャッシュスペースに格納されているオブジェクトを置き換えたくない場合は、レイクキャッシュ機能のキャッシュサイズを増やすことができます。

レイクキャッシュ機能の有効化

1. AnalyticDB for MySQL コンソールにログインします。 ホームページの左上でリージョンを選択します。 左側のナビゲーションウィンドウで、クラスターリスト をクリックします。 　

   [Data Lakehouse Edition] タブで、管理するクラスターを見つけ、クラスターIDをクリックします。

2. クラスター情報 ページの 構成情報 セクションで、[Lake Cache] の横にある [設定] をクリックします。

3. [Lake Cache] ダイアログボックスで、[Lake Cache] をオンにし、キャッシュサイズを指定します。

4. [OK] をクリックします。

lakeキャッシュ機能を使用する

レイクキャッシュ機能を有効にした後、sparkジョブにSpark. adb.lakecache.enabledパラメーターを指定して、OSSデータ読み取りを高速化できます。 サンプルコード：

-- Here is just an example of using LakeCache. Modify the content and run your spark program.
SET spark.adb.lakecache.enabled=true;

-- Here are your sql statements
SHOW databases;

{
  "comments": [
    "-- Here is just an example of using LakeCache. Modify the content and run your spark program."
  ],
  "args": ["oss://testBucketName/data/readme.txt"],
  "name": "spark-oss-test",
  "file": "oss://testBucketName/data/example.py",
  "conf": {
    "spark.adb.lakecache.enabled": "true"
  }
}

lakeキャッシュ機能に関するモニタリング情報の表示

lakeキャッシュ機能を有効にすると、送信されたSparkアプリケーションがCloudMonitorコンソールでlakeキャッシュ機能を使用しているかどうかを確認できます。 また、キャッシュスペースから読み取られたデータの量など、レイクキャッシュ機能に関するモニタリング情報を表示することもできます。 以下の手順を実行します。

1. にログインします。CloudMonitorコンソール.

2. 左側のナビゲーションウィンドウで、[クラウドサービスモニタリング] > [クラウドサービスモニタリング] を選択します。

3. ポインタをAnalyticDB for MySQLカードの上に移動し、AnalyticDB for mysql 3.0 - Data Lakehouse Editionをクリックします。

4. 監視するAnalyticDB for MySQLクラスターを見つけて、[操作] 列の [モニタリングチャート] をクリックします。

5. [LakeCacheメトリクス] タブをクリックして、レイクキャッシュメトリクスの詳細を表示します。

   次の表に、レイクキャッシュのメトリックを示します。

   メトリクス	説明
   LakeCacheキャッシュヒット率 (%)	キャッシュヒット率。 式: キャッシュにヒットした読み取り要求の数 /読み取り要求の総数。
   LakeCacheキャッシュの使用状況 (B)	使用済みキャッシュスペース。 単位はバイトです。
   LakeCacheの履歴累積リードデータの合計量 (B)	キャッシュスペースから読み取られたデータの合計量。 単位はバイトです。