全部產品
Search
文件中心

Data Lake Analytics - Deprecated:約束和限制

更新時間:Jul 06, 2024

本文檔主要介紹了雲原生資料湖分析(Data Lake Analytics,DLA)的限制約束條件。

帳號和中繼資料限制

限制

描述

每個帳號可購買虛擬叢集數量的最大值

10

每個DLA Presto虛擬叢集可配置的資料來源網路數量

1

每個帳號可建立資料庫的最大值

100

每個資料庫下表數量的最大值

4096

每張表中列數的最大值

4096

每張表中分區數的最大值

60000

一個用戶端IP一分鐘內最多可發起的JDBC串連請求數

10

Presto使用限制

限制

描述

DLA Presto外表資料來源支援的阿里雲產品列表

OSS

RDS

Tablestore

PolarDB

Redis

MongoDB

AnalyticDB for MySQL

DLA Presto非同步查詢結果寫入端

OSS

Spark使用限制

限制

描述

DLA Spark支援訪問DLA中繼資料服務中的外表資料來源

OSS

DLA Spark暫不支援的Spark功能

Spark JDBC(Thrift)

SparkR

DLA Spark資源(JAR、ZIP、TAR等)上傳方式

只支援上傳到OSS

DLA Spark帳號及許可權配置

依賴RAM帳號,並且子帳號必須關聯DLA帳號

資料湖管理使用限制

限制

描述

中繼資料發現支援發現的資料來源

OSS

SLS

Tablestore

中繼資料發現OSS資料來源的檔案格式

只支援識別CSV、JSON、Parquet、ORC格式的檔案

中繼資料發現OSS資料來源目錄結構

按照庫/表/分區布局的路徑

中繼資料發現OSS資料來源發現檔案採樣方式

目錄下面採樣最新和最老的檔案,每個檔案讀取前1000行

中繼資料發現SLS資料來源發現歷史投遞資料

如果投遞中途修改了分區格式,不會發現修改前的資料

一鍵建倉/多庫合并支援的資料來源網路類型

VPC

一鍵建倉/多庫合并支援的資料來源

PolarDB MySQL

RDS MySQL

RDS SqlServer

RDS PostgreSQL

MongoDB

Lakehouse即時入湖支援的資料來源

RDS MySQL+DTS

PolarDB MySQL+DTS