MaxCompute是阿里巴巴自研的一站式的快速、完全託管的TB/PB/EB級資料倉儲解決方案。本文將為您介紹MaxCompute相關的開源功能。
SDK
- Java SDK
Java SDK使用說明請參見Java SDK介紹。
服務支援方式:您可通過訪問官方文檔擷取支援。
- Python SDK PyODPS是MaxCompute的Python版本的SDK,提供對MaxCompute對象的基本操作和DataFrame架構,讓您可以輕鬆地在MaxCompute上進行資料分析。更多詳情請參見GitHub專案aliyun-odps-python-sdk和包括所有介面、類的細節等詳細內容的PyODPS文檔。
- 歡迎各位開發人員參與到PyODPS的生態開發中,在您開始使用PyODPS之前請先安裝PyODPS,詳細內容請參見PyODPS安裝指南。
- 如何在DataWorks上使用PyODPS,詳情請參見PyODPS開發指南。PyODPS提供了DataFrame API,詳情請參見PyODPS DataFrame概述。
- 歡迎您在GitHub aliyun-odps-python-sdk反饋問題和需求,加快PyODPS生態成長。
服務支援方式:您可通過訪問官方文檔擷取支援。
MaxCompute RODPS
MaxCompute R語言外掛程式:RODPS。使用說明請參見GitHub ODPS Plugin for R。
服務支援方式:在GitHub ODPS Plugin for R中留言或建立Issue。
ODPS JDBC是MaxCompute官方提供的JDBC驅動,它向Java程式提供了一套執行SQL任務的介面。專案託管在GitHub ODPS JDBC。
服務支援方式:在GitHub ODPS JDBC中留言或建立Issue。
Mars
Mars是一個基於張量的統一分散式運算架構。使用Mars進行科學計算,不僅使大規模科學計算任務的實現從MapReduce上的數千行代碼降低到Mars上的數行代碼,更在效能上有大幅提升。
Mars已經在Github上開原始碼,您可以一起參與共建Mars。詳情請參見GitHub開原始碼Mars 。
關於Mars的更多說明資訊請參見Mars開發指南。
服務支援方式:在Github Mars中留言或建立Issue。
Data collector
MaxComputeData Integration工具外掛程式,包括Flume、OGG、Kettle、Sqoop、Hive 。
- Flume外掛程式
- OGG外掛程式
- Sqoop
- Kettle外掛程式
- Hive Data Transfer UDTF
Flume和OGG外掛程式是基於DataHub的SDK實現,而Sqoop、Kettle以及Hive Data Transfer UDTF是基於Tunnel的SDK實現。DataHub和Tunnel分別是MaxCompute系統的即時和批量資料通道。Flume外掛程式和OGG外掛程式面向於即時資料傳輸,而Sqoop、Kettle和Hive Data Transfer UDTF則適合用於離線批量的資料轉送。
服務支援方式:在GitHub Aliyun MaxCompute Data Collectors中留言或建立Issue。