本文为您介绍使用Java和Scala语言开发的示例。
下载示例工程
MaxCompute Spark提供了项目示例工程模板,建议您下载复制后直接在模板里进行开发。
执行如下命令下载示例工程。
# spark-1.x 模板及编译
git clone https://github.com/aliyun/MaxCompute-Spark.git
cd spark-1.x
mvn clean package
# spark-2.x 模板及编译
git clone https://github.com/aliyun/MaxCompute-Spark.git
cd spark-2.x
mvn clean package
注意 示例工程里关于Spark依赖的Scope为provided,此参数请不要更改,否则提交的作业无法正常运行。
Spark-1.x示例
Spark-2.x示例
Spark-2.x示例如下:
- WordCount示例(Scala)
- MaxCompute Table读写示例(Scala)
- GraphX PageRank示例(Scala)
- Mllib Kmeans-ON-OSS示例(Scala)
- OSS UnstructuredData示例(Scala)
- SparkPi示例(Scala)
- 支持Spark Streaming LogHub示例(Scala)
- 支持Spark Streaming LogHub写MaxCompute示例(Scala)
- 支持Spark Streaming DataHub示例(Scala)
- 支持Spark Streaming DataHub写MaxCompute示例(Scala)
- 支持Spark Streaming Kafka示例(Scala)
- 支持Spark StructuredStreaming DataHub示例(Scala)
- 支持Spark StructuredStreaming Kafka示例(Scala)
- 支持Spark StructuredStreaming LogHub示例(Scala)
- MaxCompute Table读写PySpark示例(Python)
- PySpark写OSS示例(Python)
- Spark-SQL示例(Java)
- 从MaxCompute中读取数据写入HBase
- 读写OSS文件
- 读MaxCompute写OSS