本文档主要介绍了云原生数据湖分析(Data Lake Analytics,DLA)的限制约束条件。
账号和元数据限制
限制 | 描述 |
---|---|
每个账号可购买虚拟集群数量的最大值 | 10 |
每个DLA Presto虚拟集群可配置的数据源网络数量 | 1 |
每个账号可创建数据库的最大值 | 100 |
每个数据库下表数量的最大值 | 4096 |
每张表中列数的最大值 | 4096 |
每张表中分区数的最大值 | 60000 |
一个客户端IP一分钟内最多可发起的JDBC连接请求数 | 10 |
Presto使用限制
限制 | 描述 |
---|---|
DLA Presto外表数据源支持的阿里云产品列表 | OSS RDS Tablestore PolarDB Redis MongoDB AnalyticDB for MySQL |
DLA Presto异步查询结果写入端 | OSS |
Spark使用限制
限制 | 描述 |
---|---|
DLA Spark支持访问DLA元数据服务中的外表数据源 | OSS |
DLA Spark暂不支持的Spark功能 | Spark JDBC(Thrift) SparkR |
DLA Spark资源(JAR、ZIP、TAR等)上传方式 | 只支持上传到OSS |
DLA Spark账号及权限配置 | 依赖RAM账号,并且子账号必须关联DLA账号 |
数据湖管理使用限制
限制 | 描述 |
---|---|
元数据发现支持发现的数据源 | OSS SLS Tablestore |
元数据发现OSS数据源的文件格式 | 只支持识别CSV、JSON、Parquet、ORC格式的文件 |
元数据发现OSS数据源目录结构 | 按照库/表/分区布局的路径 |
元数据发现OSS数据源发现文件采样方式 | 目录下面采样最新和最老的文件,每个文件读取前1000行 |
元数据发现SLS数据源发现历史投递数据 | 如果投递中途修改了分区格式,不会发现修改前的数据 |
一键建仓/多库合并支持的数据源网络类型 | VPC |
一键建仓/多库合并支持的数据源 | PolarDB MySQL RDS MySQL RDS SqlServer RDS PostgreSQL MongoDB |
Lakehouse实时入湖支持的数据源 | RDS MySQL+DTS PolarDB MySQL+DTS |