本文介紹雲原生資料湖分析DLA的產品功能動態。
2021年6月
| 類別 | 功能點 | 描述 | 相關文檔 |
| 叢集管理 | 監控警示 | Spark叢集支援監控警示。 | 查看Spark監控 |
| 資料湖管理 | 從庫讀取 | Lakehouse支援RDS、PolarDB MySQL從庫讀取。 | 無 |
| 效能提升 | Lakehouse支援DB全量時表級並發拉取，效能提升2.5倍。 | 無 | |
| 解決時序問題 | Lakehouse解決DTS同秒多並發寫入的時序問題。 | 無 | |
| DLA Spark | 讀取DLA Meta跨帳號表 | 支援SparkSQL讀取DLA Meta跨帳號表。 | 無 |
| 預設開啟OSS最佳化 | OSS最佳化預設開啟，解決OSS深度拷貝的效能問題。 | 無 | |
| 配置Executor最大失敗次數 | 支援配置Spark Executor最大失敗次數，預設是Executor數量的2倍。 | 無 | |
| 作業重試 | Spark作業支援自動重試，修複因平台架構抖動引起的穩定性問題。 | 作業配置指南 | |
| 監控警示 | Spark作業支援監控警示。 | 查看Spark監控 | |
| DLA Presto | 建表時不指定路徑 | 支援建表的時候不指定表路徑（不寫Location）。 | 無 |
| 分區投影表效能提升 | 分區投影表LIST OSS目錄效能提升。 | 無 | |
| 修複Meta問題 | 修複Meta中對於建表報錯不明確的問題。 | 無 | |
| 修複分區投影表問題 | 修複分區投影表insert overwrite之後查不到資料的問題。 | 無 | |
| 運算元下推 | 支援Filter、Aggregation、Limit等運算元下推到OTS。 | Tablestore計算下推 | |
| 參數控制 | 支援使用者對task_writer_count、task_concurrency參數進行控制。 | 無 | |
| 改進讀取方式 | 改進ADB3.0資料讀取方式為流式，之前非流式會導致記憶體佔用過高。 | 無 |
1.0.0
| 類別 | 功能點 | 描述 |
| 資料分析 | OSS檔案資料分析 | 支援針對單個OSS檔案資料進行分析，或者多個OSS Bucket檔案進行關聯分析。 |
| 分析結果寫入OSS | 支援將分析後的結果資料迴流至OSS。 | |
| Table Store資料分析 | 支援Table Store資料分析。 | |
| RDS資料分析 | 支援RDS資料分析。 | |
| 跨資料來源分析 | 支援OSS、Table Store、RDS跨資料來源分析。 |
1.1.0
| 類別 | 功能點 | 描述 |
| 核心功能 | PolarDB資料來源 | 支援阿里雲PolarDB資料來源。 |
| Redis Connector | 支援Redis Connector。 | |
| 讀取MongoDB的資料 | 支援讀取MongoDB的資料。 | |
| 邏輯View | 支援邏輯View。 | |
| MySQL8.0協議 | 支援MySQL8.0協議。 | |
| 建表嚮導支援OSS | DDL建表嚮導支援OSS。 | |
| Public Datasets | 支援Public Datasets。 | |
| 其他功能 | json_extract函數 | 支援針對MongoDB資料來源的json_extract函數。 |
| IP位址解析函數 | 新函數，IP位址解析函數，能夠把IP地址翻譯為對應的國家、省市。 | |
| PreparedStatement | 支援PreparedStatement。 | |
| OSS API調用次數 | 減少對OSS API的調用次數。 | |
| Partition數量限制 | 一次性寫入的Partition的數量限制。 | |
| 表和欄位格式 | 支援表和欄位以數字開頭。 | |
| Alter Partition | 支援Alter Partition的功能。 | |
| Logstash | 支援Logstash。 |
1.2.0
| 類別 | 功能點 | 描述 |
| 易用性 | 控制台重構最佳化 | 新版本雲控制台對產品概覽、帳號管理、服務存取點管理進行了重構最佳化。 |
| 增加版本發布彈窗 | 增加release note彈窗，每次版本更新一覽無餘。 | |
| 重構帳號管理流程 | 重構的帳號管理流程，允許更便捷地管理帳號密碼，子帳號備忘等。 | |
| 新版SQL互動頁面 | 開發了新版SQL互動頁面，讓使用者快速進行資料湖探索，縮短互動路徑。 | |
| Schema嚮導功能 | 使用者Schema嚮導功能，以及建表嚮導的研發與最佳化，極大的提升了資料湖構建和資料探索發現的效率。 | |
| 介面化庫表操作 | 支援介面化的刪除表，刪除庫功能操作。 | |
| 補齊分區寫入功能 | 補齊了INSERT OVERWRITE SELECT的ETL、目標資料分割寫入功能，簡化了使用者ETL資料清洗處理的步驟。 | |
| 深度整合的生態 | 接入融合分析和資料迴流能力 | 目前支援如下資料來源的接入融合分析和資料迴流能力，包括Object Storage Service上7種以上結構化、半結構化、以及多種壓縮格式的資料檔案，Table Store，AnalyticDB，雲資料庫版或自建資料庫（MySQL、PostgreSQL、SQL Server），雲資料庫版或自建Redis，雲資料庫版或自建MongoDB，PolarDB等。 |
| 接入DataWorks任務調度 | 接入DataWorks任務調度，使得使用者能夠可視化輕鬆定製資料湖分析的資料處理流程，實現雲上巨量資料WorkFlow。 | |
| 接入Function Compute | 接入Function Compute，使得使用者能夠基於這兩款Serverless化雲產品，構建雲原生Serverless工作流程。 | |
| 接入MNS和ONS訊息系統 | 接入MNS和ONS訊息系統，能夠極大提升資料湖資料處理扭轉和業務整合的便利性。 |