阿里云上的数据湖

阿里云数据湖

实时存储、管理和分析各种规模和类型的数据

联系销售人员

概览
亮点
架构
安全与合规性
资源

概览

概览
亮点
架构
安全与合规性
资源

阿里云数据湖

阿里云数据湖解决方案可以存储、管理和分析海量的结构化、半结构化和非结构化流式数据，能够破除数据孤岛问题，获得业务的深入见解。您可以按原样存储各种规模和格式的数据；配置贯穿整个数据生命周期的规则，灵活存储冷热数据，以响应不断变化的业务需求；以及将您的数据湖与 MaxCompute、Hologres、DataBricks、人工智能平台 PAI等不同的计算和 AI 引擎无缝集成，实现统一的批处理和流处理。

无限存储

统一的数据存储方案具备无限的伸缩能力，可整合本地数据和云数据，而且成本低廉，无需运维。

集中管理

集中式元数据服务对数据存储格式具有高度兼容性，可实现统一的数据治理并支持不同的计算引擎。

云原生

容器化计算通过将数据流式传输到数据湖来实现超大的弹性和近乎实时的数据分析。

充分利用阿里云数据湖的强大功能

完全托管的数据湖

借助具有多种数据分析场景的完全托管的无服务器架构，可减轻运维工作负载的负担，简化数据开发和管理

统一的批处理和流处理

在一个编程模型中统一实时数据处理和离线（批处理）处理，以准确性、一致性和高性能取代代码的操作复杂性

一站式数据管理

依托业界领先的 SLA，可以对数据湖中各种类型和规模的数据完成数据集成、开发、编制目录以及安全和服务管理，耐用性达到 99.9999999999%（12 个 9）

弹性数据处理资源

阿里云 E-MapReduce Flink 可解耦计算和存储资源，并支持多种开源计算引擎，因此可以针对其处理需求，动态创建和扩缩计算节点

详细了解阿里云的数据湖

联系销售人员

工作原理

阿里云的数据湖基于一种内聚型分层架构。每一层都具有各种旨在集成、存储和处理数据的产品和工具。

数据湖存储层：将各种类型的原始数据提取到可伸缩且安全的存储服务中，并根据不同的访问需求，使用相应的存储类别存储冷热数据。
数据湖构建层
：利用企业级权限控制，通过在整个数据生命周期内集中不同数据源的元数据，构建支持批量数据处理和流式数据处理的云原生数据湖。数据湖计算层

：无缝对接各种计算引擎和 AI 平台，可执行用户查询、执行高级数据分析以及从托管数据中获得业务的深入见解。

数据开发治理层：基于数据计算引擎，提供高效、安全、可靠的数据开发与治理服务。

对象存储服务

E-MapReduce

MaxCompute

Hologres

人工智能平台 PAI

DataWorks

阿里云数据湖的四层架构

数据湖存储

阿里云对象存储服务 (OSS) 提供业界领先的可伸缩性、持久性和性能。 OSS 可以存储和保护任意数量的数据，耐用性达到 99.9999999999%（12 个 9），是一个可伸缩、安全、高性价比的数据湖存储基础。您可以轻松地将物联网设备、本地和云环境中的数据提取到数据湖中，并配置数据生命周期规则，以根据数据访问要求和成本将冷热数据存储在不同的存储类别中。对于 Apache Spark、Apache Hive、Presto 和 TensorFlow 等数据分析框架，您还可以利用 JindoFS 缓存热数据，并通过 HDSF 接口加速数据访问。

了解详情 >

数据湖构建

数据湖构建 (DLF) 是云原生数据湖框架的重要组成部分，为构建云原生数据湖提供了一种便捷的方式。 DLF 与多种计算引擎无缝集成；可以集中管理数据湖元数据并控制企业级权限。 DLF 采用将计算与存储分离的架构，可以实现以低廉的成本按需规划资源，提高数据处理效率。可以将 DLF 连接到不同类型的数据计算和分析平台，深度分析业务价值，并使用 JindoFS 以高性能的方式加速数据湖分析。

了解详情 >

数据湖计算

阿里云提供多种数据计算引擎，可满足各种数据处理需求。 Elastic MapReduce (EMR) 可以使用 Hadoop 和 Spark 生态系统组件（例如 Apache Hive、Apache Kafka、Flink、Druid 和 TensorFlow）分析和处理存储在不同阿里云数据存储服务（包括对象存储服务 (OSS)、日志服务 (SLS) 和关系数据库服务 (RDS)）中的数据。 MaxCompute 支持 Delta Lake、Hudi 等不同的数据湖格式，您可以将其连接到不同的数据源，实现对海量数据集的高效查询。 Hologres 无缝对接数据湖构建，实时读取元数据和数据，并以高并发和低延迟的方式分析 PB 级数据。通过将人工智能平台 PAI与这些数据引擎对接，您可以进行数据挖掘和分析，为智能业务服务提供支持。

数据开发和治理

DataWorks 是一种一站式平台，基于 MaxCompute、E-MapReduce (EMR)、Hologres 等大数据计算引擎，提供专业、高效、安全、可靠的大数据开发与治理服务。 DataWorks 集阿里数据中台与数据治理的最佳实践于一身，帮助您调度、运行、监控数据集成、机器学习、MaxCompute SQL 等不同类型的海量任务，并且每天处理数百 PB 数据，提供高稳定性。您可以通过拖放方式自定义数据工作流，并获得可视化的数据开发信息。