全部產品
Search
文件中心

Data Lake Formation:使用限制

更新時間:Jul 13, 2024

您在使用資料湖構建(Data Lake Formation,簡稱DLF)控制台和介面時,產品做了如下限制,請在使用時注意不要超過相應的限制值,以免出現異常。

資料湖中繼資料

限制項

使用者配額

單表QPS

500

單表分區數量

100萬

資料湖入湖預先處理作業

限制項

使用者配額

使用者入湖作業數量(每個region)

1000個

每個入湖作業最大資源量

100CU

相容與使用限制說明

  1. 以下3種Hive特性不支援,建議採用最新Delta/Hudi/Iceberg方案替代:

    1. 不支援 Hive DB Lock manager API

    2. 不支援 Hive Db Transaction Manager API

    3. 不支援 Hive Constraint:如Primary key/Foreign key

  2. 不支援Hive SQL Standards Based Authorization

    1. 舊版Hive許可權,開源社區已不再發展,建議使用資料湖構建資料許可權功能替代

  3. 不支援Metastore listener

    1. 建議使用阿里雲Action TrailAPI,實現對中繼資料操作的監聽和管理。

  4. 不支援Hive LLAP

    1. 建議使用Presto/Spark等引擎替代

  5. 目前DLF不支援與自建的Hadoop叢集整合,如需使用資料湖請選擇阿里雲E-MapReduce叢集。