本文檔主要介紹了雲原生資料湖分析(Data Lake Analytics,DLA)的限制約束條件。
帳號和中繼資料限制
限制 | 描述 |
---|---|
每個帳號可購買虛擬叢集數量的最大值 | 10 |
每個DLA Presto虛擬叢集可配置的資料來源網路數量 | 1 |
每個帳號可建立資料庫的最大值 | 100 |
每個資料庫下表數量的最大值 | 4096 |
每張表中列數的最大值 | 4096 |
每張表中分區數的最大值 | 60000 |
一個用戶端IP一分鐘內最多可發起的JDBC串連請求數 | 10 |
Presto使用限制
限制 | 描述 |
---|---|
DLA Presto外表資料來源支援的阿里雲產品列表 | OSS RDS Tablestore PolarDB Redis MongoDB AnalyticDB for MySQL |
DLA Presto非同步查詢結果寫入端 | OSS |
Spark使用限制
限制 | 描述 |
---|---|
DLA Spark支援訪問DLA中繼資料服務中的外表資料來源 | OSS |
DLA Spark暫不支援的Spark功能 | Spark JDBC(Thrift) SparkR |
DLA Spark資源(JAR、ZIP、TAR等)上傳方式 | 只支援上傳到OSS |
DLA Spark帳號及許可權配置 | 依賴RAM帳號,並且子帳號必須關聯DLA帳號 |
資料湖管理使用限制
限制 | 描述 |
---|---|
中繼資料發現支援發現的資料來源 | OSS SLS Tablestore |
中繼資料發現OSS資料來源的檔案格式 | 只支援識別CSV、JSON、Parquet、ORC格式的檔案 |
中繼資料發現OSS資料來源目錄結構 | 按照庫/表/分區布局的路徑 |
中繼資料發現OSS資料來源發現檔案採樣方式 | 目錄下面採樣最新和最老的檔案,每個檔案讀取前1000行 |
中繼資料發現SLS資料來源發現歷史投遞資料 | 如果投遞中途修改了分區格式,不會發現修改前的資料 |
一鍵建倉/多庫合并支援的資料來源網路類型 | VPC |
一鍵建倉/多庫合并支援的資料來源 | PolarDB MySQL RDS MySQL RDS SqlServer RDS PostgreSQL MongoDB |
Lakehouse即時入湖支援的資料來源 | RDS MySQL+DTS PolarDB MySQL+DTS |