云原生数据仓库AnalyticDB：湖存储加速（LakeCache）

前提条件

集群的产品系列为湖仓版。

功能介绍

功能原理

流程介绍如下：

1. 客户端对OSS的读请求会被转发给湖存储加速器，连接LakeCache Master节点，请求文件元数据。

2. LakeCache Master将文件元数据返回给LakeCache Client。

3. LakeCache Client根据元数据信息，向LakeCache Worker发起请求，获取OSS数据：

   • 若LakeCache Worker（缓存空间）存在目标文件，则直接将文件返回给客户端。

   • 若LakeCache Worker（缓存空间）没有目标文件，湖存储加速器会向OSS请求目标文件。湖存储加速器将文件数据返回给客户端，并将目标文件缓存到湖存储加速器中。

费用说明

开通湖存储加速功能后，湖存储加速器缓存空间将按量计费。计费详情，请参见湖仓版产品定价。

注意事项

• 仅部分地域支持湖存储加速功能：华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、新加坡、美国（弗吉尼亚）。

  重要

  如果您需要在其他地域使用湖存储加速功能，请提交工单联系技术支持。

• 当缓存硬件发生故障时，数据查询不会中断和异常，但查询速度会下降。缓存数据需要从OSS重新预热，预热完成后查询速度将会恢复。

• 当湖存储加速器配置的缓存空间占用达到上限时，湖存储加速器会根据缓存文件的热度，将缓存空间中的低热度的文件替换为高热度文件。如果您不想替换已存储在缓存空间中的文件，请手动扩容湖存储加速器的缓存空间，以增加缓存空间。

开通湖存储加速

1. 登录云原生数据仓库AnalyticDB MySQL控制台，在左上角选择集群所在地域。在左侧导航栏，单击集群列表，在湖仓版页签下，单击目标集群ID。

2. 进入集群信息页面，在配置信息区域，单击湖存储加速后的设置。

3. 在湖存储加速对话框中，打开湖存储加速开关，并设置缓存空间。

4. 单击确定。

使用湖存储加速

开通湖存储加速后，在读取OSS数据时，可以通过在Spark作业配置中配置spark.adb.lakecache.enabled参数，实现OSS数据的读加速。示例如下：

-- Here is just an example of using LakeCache. Modify the content and run your spark program.
SET spark.adb.lakecache.enabled=true;

-- Here are your sql statements
SHOW databases;

{
  "comments": [
    "-- Here is just an example of using LakeCache. Modify the content and run your spark program."
  ],
  "args": ["oss://testBucketName/data/readme.txt"],
  "name": "spark-oss-test",
  "file": "oss://testBucketName/data/example.py",
  "conf": {
    "spark.adb.lakecache.enabled": "true"
  }
}

查看湖存储加速的监控信息

开通湖存储加速后，您可以在云监控控制台查看提交的Spark应用是否已成功使用湖加速功能，也可以查看湖存储加速器缓存空间读取的数据量等信息。具体操作如下。

1. 登录云监控控制台。

2. 在左侧导航栏，选择云资源监控 > 云产品监控。

3. 鼠标悬浮在云原生数据仓库AnalyticDB MySQL版卡片上，单击云原生数据仓库AnalyticDB MySQL版3.0 - 湖仓版。

4. 单击目标集群ID对应操作列的监控图表。

5. 单击LakeCache指标页签，查询监控详情。

   监控指标详情如下：

   监控指标	监控项说明
   LakeCache缓存命中率(%)	计算方法为：命中缓存的读请求数/读请求总数。
   LakeCache缓存使用量(B)	已使用的缓存空间（字节）。
   LakeCache历史累计读数据总量(B)	通过缓存空间读取的数据总量（字节）。