本文介紹如何在AnalyticDB for MySQL控制台建立和執行Spark應用。
功能說明
通過Spark開發編輯器建立和執行Spark離線應用或流應用。
查看當前Spark應用Driver的日誌和應用提交時的相關資訊。
查看SQL語句的執行日誌。
前提條件
叢集的產品系列為湖倉版。
已在湖倉版叢集中建立Job型資源群組。具體操作，請參見建立資源群組。
已為RAM使用者授權。具體操作，請參見為RAM子帳號授權。
已建立AnalyticDB for MySQL叢集的資料庫帳號。
如果是通過阿里雲帳號訪問，只需建立高許可權帳號。具體操作，請參見建立高許可權帳號。
如果是通過RAM使用者訪問，需要建立高許可權帳號和普通帳號並且將RAM使用者綁定到普通帳號上。具體操作，請參見建立資料庫帳號和綁定或解除綁定RAM使用者與資料庫帳號。
已授權AnalyticDB for MySQL扮演AliyunADBSparkProcessingDataRole角色來訪問其他雲資源。具體操作，請參見帳號授權。
已配置Spark應用的日誌儲存地址。
說明登入雲原生資料倉儲AnalyticDB MySQL控制台，在頁面，單擊日誌配置，選擇預設路徑或自訂儲存路徑。自訂儲存路徑時不能將日誌儲存在OSS的根目錄下，請確保該路徑中至少包含一層檔案夾。
建立和執行Spark應用
登入雲原生資料倉儲AnalyticDB MySQL控制台，在左上方選擇叢集所在地區。在左側導覽列，單擊集群清單，在湖倉版頁簽下，單擊目的地組群ID。
在左側導覽列，單擊。
在Spark Jar開發頁面，單擊應用列表右側的
。在建立應用模板頁面，按照頁面提示進行參數配置。
參數名稱
參數說明
名稱
設定應用和目錄的名字。檔案名稱不區分大小寫。
類型
選擇應用時，模板類型為檔案。
選擇目錄時，模板類型為檔案夾。
父級
設定檔案或者檔案夾的上層目錄。
作業類型
Batch：離線應用。
Streaming：流應用。
SQL Engine：Spark Distribution SQL Engine。
完成上述參數配置後，單擊確定建立應用模板。
建立Spark模板檔案後，您可以在Spark開發編輯器中配置Spark應用。如何配置Spark應用，請參見Spark應用開發介紹。
Spark應用配置編寫完成後，您可以進行以下操作。
單擊儲存，儲存Spark應用，便於後續複用應用。
單擊立即執行，執行Spark應用，應用列表會即時顯示執行狀態。
在執行Spark應用前，需要選擇Job型資源群組和應用類型。
查看Spark應用資訊
在應用列表頁簽中，搜尋應用ID，執行以下操作，查看目標Spark應用資訊。
日誌：查看當前Spark應用Driver的日誌或SQL語句的執行日誌。
UI：跳轉到對應的Spark UI。UI自身有訪問有效期間限制，到期後需要重新進入。
詳情：當前應用提交時的相關資訊。如日誌地址、Web UI地址、叢集ID、資源群組名稱等。
停止：終止當前運行中的應用。
歷史：查看當前應用的重試列表。
在執行歷史頁簽中，查看所有應用的重試列表。
說明預設情況下，一個應用失敗後不會進行重試。如需進行重試，請配置重試參數（spark.adb.maxAttempts和spark.adb.attemptFailuresValidityInterval）。更多資訊，請參見Spark應用配置參數說明中的配置參數說明。