本文為您介紹使用Java和Scala語言開發的樣本。
下載樣本工程
MaxCompute Spark提供了專案樣本工程模板,建議您下載複製後直接在模板裡進行開發。
執行如下命令下載樣本工程。
# spark-1.x 模板及編譯
git clone https://github.com/aliyun/MaxCompute-Spark.git
cd spark-1.x
mvn clean package
# spark-2.x 模板及編譯
git clone https://github.com/aliyun/MaxCompute-Spark.git
cd spark-2.x
mvn clean package
重要 樣本工程裡關於Spark依賴的Scope為provided,此參數請不要更改,否則提交的作業無法正常運行。
Spark-1.x樣本
Spark-2.x樣本
Spark-2.x樣本如下:
- WordCount樣本(Scala)
- MaxCompute Table讀寫樣本(Scala)
- GraphX PageRank樣本(Scala)
- Mllib Kmeans-ON-OSS樣本(Scala)
- OSS UnstructuredData樣本(Scala)
- SparkPi樣本(Scala)
- 支援Spark Streaming LogHub樣本(Scala)
- 支援Spark Streaming LogHub寫MaxCompute樣本(Scala)
- 支援Spark Streaming DataHub樣本(Scala)
- 支援Spark Streaming DataHub寫MaxCompute樣本(Scala)
- 支援Spark Streaming Kafka樣本(Scala)
- 支援Spark StructuredStreaming DataHub樣本(Scala)
- 支援Spark StructuredStreaming Kafka樣本(Scala)
- 支援Spark StructuredStreaming LogHub樣本(Scala)
- MaxCompute Table讀寫PySpark樣本(Python)
- PySpark寫OSS樣本(Python)
- Spark-SQL樣本(Java)
- 從MaxCompute中讀取資料寫入HBase
- 讀寫OSS檔案
- 讀MaxCompute寫OSS