基于湖构建数据平台，支持BI、挖掘等业务

对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。

  • 构建数据湖
    • 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建大规模的可以增删改查的数据集，延迟为T+10分钟。
    • 一键建仓 ：支持数据库一键入湖，T+1天。
    • 文件上传：数据上传后，DLA元数据发现功能可自动发现并构建好元数据体系。
  • 数据ETL：DLA支持Spark，提供强大的数据ETL能力，把ODS层的原始数据清洗为结构化的DW数据。
  • 机器学习：DLA支持Spark，支持开源算法库。
  • 交互式分析：DLA提供Presto交互式分析，支持BI、分析师的数据分析诉求。

联邦分析：同时连接多个数据源做数据的分析

  • 联邦分析：DLA Presto可对接数十种数据源对各种数据源进行查询。
  • 轻量级清洗方案：可以通过Presto满足轻量级数据ETL，从OSS写入数据到数据库。