AnalyticDB for MySQL企业版、基础版及湖仓版Job型资源组默认使用批处理方式执行Spark SQL,如果您想要使用Job型资源组执行交互式查询,则需要启动ThriftServer。启动ThriftServer后,可以在同一资源组内并发执行多个交互式查询,提升查询效率。本文介绍企业版、基础版及湖仓版Job型资源组如何启动和停止ThriftServer。
注意事项
每个Job型资源组只能启动一个ThriftServer。
已启动ThriftServer的Job型资源组,在执行Spark SQL作业时,都会采用交互式执行。
停止ThriftServer会中断当前所有执行中的SQL和排队中的SQL。请确保暂无执行中和排队中的SQL,或这些SQL中断对业务无影响后,再停止ThriftServer。
启动ThriftServer
登录云原生数据仓库AnalyticDB MySQL控制台,在左上角选择集群所在地域。在左侧导航栏,单击集群列表,在湖仓版页签下,单击目标集群ID。
在左侧导航栏,单击集群管理>资源管理,单击资源组管理页签。
在资源组列表中,单击目标Job型资源组操作列的ThriftServer配置。
在ThriftServer配置页面,填写参数配置。
参数名称
是否必填
说明
对应的配置参数
Min Executor个数
是
Spark弹性配置下的最小Executor数量,默认值为0,表示不执行Spark SQL时会释放所有的Executor。
一个Executor的资源量为2 ACU。
spark.dynamicAllocation.minExecutors
Max Executor个数
是
Spark弹性配置下最大的Executor数量,表示执行Spark SQL时最大拉起的Executor数量,至少配置为1。
一个Executor的资源量为2 ACU,如果配置过大,超过该Job型资源组计算最大资源限制时,可能引起错误。例如某Job型资源组的最大计算资源为16 ACU,可配置的最大Executor数量为8。
spark.dynamicAllocation.maxExecutors
JARS
否
执行环境需要第三方JAR包的OSS路径。
如果执行SQL时,需要依赖JAR包,请先将JAR包上传至OSS的存储空间。如何上传文件,请参见控制台上传文件。
spark.jars
最大连接数
否
Spark维护的最大的Session数量,每个Session对应一个独立线程,配置过大可能引起OOM错误。
spark.sql.retainedSessions
其他配置
否
无
单击启动。
停止ThriftServer
当需要在启动了ThriftServer的Job型资源组中使用批处理方式执行Spark SQL作业时,需要先停止ThriftServer。
登录云原生数据仓库AnalyticDB MySQL控制台,在左上角选择集群所在地域。在左侧导航栏,单击集群列表,在湖仓版页签下,单击目标集群ID。
在左侧导航栏,单击集群管理>资源管理,单击资源组管理页签。
在资源组列表中,单击目标Job型资源组操作列的ThriftServer配置。
在ThriftServer配置页面,单击停止。