本文由簡體中文內容自動轉碼而成。阿里雲不保證此自動轉碼的準確性、完整性及時效性。本文内容請以簡體中文版本為準。

開源支援

更新時間:2024-06-18 19:49

MaxCompute是阿里巴巴自研的一站式的快速、完全託管的TB/PB/EB級資料倉儲解決方案。本文將為您介紹MaxCompute相關的開源功能。

SDK

MaxCompute提供Java SDK和Python SDK介面實現建立、查看、刪除MaxCompute表等操作。通過SDK,您可以通過編輯代碼靈活地操作MaxCompute。MaxCompute提供的SDK如下:
  • Java SDK

    Java SDK使用說明請參見Java SDK介紹

    服務支援方式:您可通過訪問官方文檔擷取支援。

  • Python SDK
    PyODPS是MaxCompute的Python版本的SDK,提供對MaxCompute對象的基本操作和DataFrame架構,讓您可以輕鬆地在MaxCompute上進行資料分析。更多詳情請參見GitHub專案aliyun-odps-python-sdk和包括所有介面、類的細節等詳細內容的PyODPS文檔

    服務支援方式:您可通過訪問官方文檔擷取支援。

MaxCompute RODPS

MaxCompute R語言外掛程式:RODPS。使用說明請參見GitHub ODPS Plugin for R

服務支援方式:在GitHub ODPS Plugin for R中留言或建立Issue。

ODPS JDBC是MaxCompute官方提供的JDBC驅動,它向Java程式提供了一套執行SQL任務的介面。專案託管在GitHub ODPS JDBC

服務支援方式:在GitHub ODPS JDBC中留言或建立Issue。

Mars

Mars是一個基於張量的統一分散式運算架構。使用Mars進行科學計算,不僅使大規模科學計算任務的實現從MapReduce上的數千行代碼降低到Mars上的數行代碼,更在效能上有大幅提升。

Mars已經在Github上開原始碼,您可以一起參與共建Mars。詳情請參見GitHub開原始碼Mars

關於Mars的更多說明資訊請參見Mars開發指南

服務支援方式:在Github Mars中留言或建立Issue。

Data collector

MaxComputeData Integration工具外掛程式,包括Flume、OGG、Kettle、Sqoop、Hive 。

Data Collector是MaxCompute主要開來源資料採集工具的集合,包括:
  • Flume外掛程式
  • OGG外掛程式
  • Sqoop
  • Kettle外掛程式
  • Hive Data Transfer UDTF

    Flume和OGG外掛程式是基於DataHub的SDK實現,而Sqoop、Kettle以及Hive Data Transfer UDTF是基於Tunnel的SDK實現。DataHub和Tunnel分別是MaxCompute系統的即時和批量資料通道。Flume外掛程式和OGG外掛程式面向於即時資料傳輸,而Sqoop、Kettle和Hive Data Transfer UDTF則適合用於離線批量的資料轉送。

原始碼請參見GitHub Aliyun MaxCompute Data Collectors。外掛程式說明請參見wiki

服務支援方式:在GitHub Aliyun MaxCompute Data Collectors中留言或建立Issue。

  • 本頁導讀 (1, M)
  • SDK
  • MaxCompute RODPS
  • Mars
  • Data collector
文檔反饋
phone 聯絡我們

立即和Alibaba Cloud在線服務人員進行交談,獲取您想了解的產品信息以及最新折扣。

alicare alicarealicarealicare