AnalyticDB for MySQL叢集中的Notebook開發是基於控制台的互動式資料分析開發平台,提供了作業編輯、資料分析、資料視覺效果等功能。Notebook開發支援Spark SQL和Python兩種程式設計語言編寫Spark應用程式。
前提條件
AnalyticDB for MySQL叢集的產品系列為湖倉版。
已建立Job型資源群組,且計算最大資源需大於等於8 ACU。具體操作,請參見建立資源群組。
已建立AnalyticDB for MySQL叢集的資料庫帳號。
如果是通過阿里雲帳號訪問,只需建立高許可權帳號。具體操作,請參見建立高許可權帳號。
如果是通過RAM使用者訪問,需要建立高許可權帳號和普通帳號並且將RAM使用者綁定到普通帳號上。具體操作,請參見建立資料庫帳號和綁定或解除綁定RAM使用者與資料庫帳號。
OSS的儲存空間與AnalyticDB for MySQL叢集需要使用相同的阿里雲帳號(主帳號)和地區。
已授權AnalyticDB for MySQL扮演AliyunADBSparkProcessingDataRole角色來訪問其他雲資源。具體操作,請參見帳號授權。
注意事項
Notebook功能已於2024年5月10日下線。
如果在2024年5月10日前,您的叢集建立過Notebook,2024年5月10日後,仍可正常使用Notebook。
如果在2024年5月10日前,您的叢集從未建立過Notebook,2024年5月10日後,將無法在AnalyticDB for MySQL控制台使用Notebook。
建立Notebook
登入雲原生資料倉儲AnalyticDB MySQL控制台,在左上方選擇叢集所在地區。在左側導覽列,單擊集群清單。在集群清單上方,選擇產品系列,然後單擊目的地組群ID。
在左側導覽列,單擊作業開發>Notebook開發。
在Notebook開發頁面,單擊頁面右上方的建立Notebook。
在彈出的日誌配置對話方塊中,選擇預設或自訂日誌路徑,並單擊確定。
說明首次建立Notebook時系統會檢測是否已配置日誌路徑,用於存放SPARK服務運行時的日誌。若已配置則此步驟自動跳過;否則將彈出對話方塊進行提醒。
在建立Notebook面板,配置如下參數。
參數
描述
樣本
資源群組
選擇Job型資源群組,Job資源群組需滿足以下條件:
資源群組狀態為運行中。
計算最大資源需大於等於8 ACU。
名稱
Notebook的名稱,配置規則如下:
名稱長度在64個字元之內。
名稱由大寫字母、小寫字母、數字、底線(_)和短劃線(-)組成。
名稱具有唯一性。
notebook-test
描述
Notebook的描述。
功能測試
單擊確定。
開發Notebook
在Notebook開發頁面,單擊目標Notebook名稱,在段落地區進行開發。
Notebook頁面說明如下:
①功能表列
參數 | 說明 | |
資源群組 | 建立資源群組 | 可建立Job型資源群組。具體操作,請參見建立資源群組。 |
修改資源群組 | 可修改Notebook的資源群組。修改規則如下:
重要 修改資源群組將重啟Notebook Kernel,重啟過程預計等待3分鐘,重啟期間執行中的Notebook作業會失敗。 | |
Kernel | 重啟Kernel | 可重啟Notebook Kernel,重啟過程預計等待3分鐘,重啟期間執行中的Notebook作業會失敗。 |
銷毀Kernel | 可銷毀Notebook Kernel,執行中的Notebook作業將會失敗。 |
②工具列
參數 | 說明 |
儲存Notebook作業。其他儲存方式:
| |
添加段落。其他添加段落方式為將滑鼠移至段落中間,單擊+添加段落。 | |
執行全部段落的代碼。 | |
暫停執行全部段落的代碼。 重要 運行中的Notebook作業無法暫停。 | |
清除全部段落的執行結果。 | |
配置Notebook作業的啟動參數。配置參數的詳細資料,請參見Spark應用配置參數說明。 樣本如下:
重要 配置Notebook作業的啟動參數將重啟Notebook Kernel,重啟過程預計等待3分鐘,重啟期間執行中的Notebook作業會失敗。 |
③狀態列
參數 | 說明 |
Notebook作業的儲存狀態,控制台將每隔5秒自動儲存一次Notebook作業。 | |
Notebook Kernel的狀態,控制台將每隔5秒自動重新整理一次Notebook Kernel的狀態。Notebook Kernel的狀態取值如下:
|
④段落
段落頁面說明如下:
參數 | 說明 |
① | 啟動並執行控制代碼ID:標識運行語句的唯一控制代碼ID,用於問題定位。 |
② | 代碼編輯框:文法關鍵詞自動高亮,支援Spark SQL和Python兩種程式設計語言。 |
③ | 工具列:包括語言切換、代碼格式化、執行代碼、暫停運行代碼、清空結果和刪除段落。具體說明如下:
|
④ | 運行結果:僅Spark SQL執行結果以表格形式展示,其它語言的執行結果以文本形式展示。 |
⑤ | 運行狀態列:包括執行狀態、耗時和最後更新時間。 |
錯誤碼說明
錯誤碼 | 錯誤資訊 | 解決方案 |
Console.NotebookNamingDuplicate | Notebook名稱重複。 | 請重新設定Notebook名稱。 |
Console.NotebookParagraphNotRunning | Notebook代碼未執行。 | 請執行Notebook代碼。 |
Console.NotebookParagraphMissingProgramCode | Notebook段落找不到程式碼。 | 請在段落中編寫程式碼。 |
Console.NotebookKernelNotStartup | Notebook Kernel未啟動。 | 請啟動Notebook Kernel。 |
Spark.NotebookKernelStarting | Notebook Kernel啟動中。 | 請稍後重試。 |
Spark.NotebookKernelBusy | Notebook Kernel待執行代碼數較多。 | 請稍後重試。 |
Spark.NotebookKernelExpired | Notebook Kernel已到期。 | 請重啟Kernel。 |
Spark.NotebookKernelInvalidStatus | Notebook Kernel狀態無效。 | 請重啟Kernel。 |
Spark.GetNotebookKernelFailed | Notebook Kernel啟動失敗。 | 請聯絡支援人員。 |
Spark.GetNotebookKernelStateFailed | Notebook Kernel狀態查詢失敗。 | |
Spark.ExecuteNotebookStatementFailed | Notebook代碼執行失敗。 | |
Spark.CancelNotebookStatementFailed | Notebook代碼暫停執行失敗。 | |
Spark.GetNotebookStatementResultFailed | Notebook代碼返回結果查詢失敗。 | |
Spark.CloseNotebookKernelFailed | Notebook Kernel關閉失敗。 | |
Console.NotebookNotFound | 已建立的Notebook找不到。 | |
Console.NotebookCreateFailed | Notebook建立失敗。 | |
Console.NotebookParagraphNotFound | Notebook段落找不到。 | |
Console.NotebookParagraphCreateFailed | Notebook段落建立失敗。 |