您在使用資料湖構建(Data Lake Formation,簡稱DLF)控制台和介面時,產品做了如下限制,請在使用時注意不要超過相應的限制值,以免出現異常。
資料湖中繼資料
限制項 | 使用者配額 |
單表QPS | 500 |
單表分區數量 | 100萬 |
資料湖入湖預先處理作業
限制項 | 使用者配額 |
使用者入湖作業數量(每個region) | 1000個 |
每個入湖作業最大資源量 | 100CU |
相容與使用限制說明
以下3種Hive特性不支援,建議採用最新Delta/Hudi/Iceberg方案替代:
不支援 Hive DB Lock manager API
不支援 Hive Db Transaction Manager API
不支援 Hive Constraint:如Primary key/Foreign key
不支援Hive SQL Standards Based Authorization
舊版Hive許可權,開源社區已不再發展,建議使用資料湖構建資料許可權功能替代
不支援Metastore listener
建議使用阿里雲Action TrailAPI,實現對中繼資料操作的監聽和管理。
不支援Hive LLAP
建議使用Presto/Spark等引擎替代
目前DLF不支援與自建的Hadoop叢集整合,如需使用資料湖請選擇阿里雲E-MapReduce叢集。