全部產品
Search
文件中心

AnalyticDB:Notebook開發編輯器

更新時間:Nov 20, 2024

AnalyticDB for MySQL叢集中的Notebook開發是基於控制台的互動式資料分析開發平台,提供了作業編輯、資料分析、資料視覺效果等功能。Notebook開發支援Spark SQL和Python兩種程式設計語言編寫Spark應用程式。

前提條件

  • AnalyticDB for MySQL叢集的產品系列為湖倉版

  • 已建立Job型資源群組,且計算最大資源需大於等於8 ACU。具體操作,請參見建立資源群組

  • 已建立AnalyticDB for MySQL叢集的資料庫帳號。

  • OSS的儲存空間與AnalyticDB for MySQL叢集需要使用相同的阿里雲帳號(主帳號)和地區。

  • 已授權AnalyticDB for MySQL扮演AliyunADBSparkProcessingDataRole角色來訪問其他雲資源。具體操作,請參見帳號授權

注意事項

Notebook功能已於2024年5月10日下線。

  • 如果在2024年5月10日前,您的叢集建立過Notebook,2024年5月10日後,仍可正常使用Notebook。

  • 如果在2024年5月10日前,您的叢集從未建立過Notebook,2024年5月10日後,將無法在AnalyticDB for MySQL控制台使用Notebook。

建立Notebook

  1. 登入雲原生資料倉儲AnalyticDB MySQL控制台,在左上方選擇叢集所在地區。在左側導覽列,單擊集群清單。在集群清單上方,選擇產品系列,然後單擊目的地組群ID。

  2. 在左側導覽列,單擊作業開發>Notebook開發

  3. Notebook開發頁面,單擊頁面右上方的建立Notebook

  4. 在彈出的日誌配置對話方塊中,選擇預設自訂日誌路徑,並單擊確定

    說明

    首次建立Notebook時系統會檢測是否已配置日誌路徑,用於存放SPARK服務運行時的日誌。若已配置則此步驟自動跳過;否則將彈出對話方塊進行提醒。

  5. 建立Notebook面板,配置如下參數。

    參數

    描述

    樣本

    資源群組

    選擇Job型資源群組,Job資源群組需滿足以下條件:

    • 資源群組狀態為運行中。

    • 計算最大資源需大於等於8 ACU。

    (Job) notebook

    名稱

    Notebook的名稱,配置規則如下:

    • 名稱長度在64個字元之內。

    • 名稱由大寫字母、小寫字母、數字、底線(_)和短劃線(-)組成。

    • 名稱具有唯一性。

    notebook-test

    描述

    Notebook的描述。

    功能測試

  6. 單擊確定。

開發Notebook

Notebook開發頁面,單擊目標Notebook名稱,在段落地區進行開發。

book123

Notebook頁面說明如下:

①功能表列

參數

說明

資源群組

建立資源群組

可建立Job型資源群組。具體操作,請參見建立資源群組

修改資源群組

可修改Notebook的資源群組。修改規則如下:

  • 資源群組為Job型。

  • 資源群組狀態為運行中。

  • 計算最大資源需大於等於8 ACU。

重要

修改資源群組將重啟Notebook Kernel,重啟過程預計等待3分鐘,重啟期間執行中的Notebook作業會失敗。

Kernel

重啟Kernel

可重啟Notebook Kernel,重啟過程預計等待3分鐘,重啟期間執行中的Notebook作業會失敗。

銷毀Kernel

可銷毀Notebook Kernel,執行中的Notebook作業將會失敗。

②工具列

參數

說明

儲存

儲存Notebook作業。其他儲存方式:

  • 控制台將每隔5秒自動儲存一次Notebook作業。

  • 快速鍵Ctrl+S儲存Notebook作業。

新增段落

添加段落。其他添加段落方式為將滑鼠移至段落中間,單擊+添加段落添加段落

運行代碼

執行全部段落的代碼。

暫停運行

暫停執行全部段落的代碼。

重要

運行中的Notebook作業無法暫停。

清除

清除全部段落的執行結果。

設定

配置Notebook作業的啟動參數。配置參數的詳細資料,請參見Spark應用配置參數說明

樣本如下:

{
        "spark.driver.resourceSpec": "small",
        "spark.executor.instances": 2,
        "spark.executor.resourceSpec": "small",
        "spark.adb.eni.vswitchId":"vsw-bp14pj8h0k5p0kwu3****",
        "spark.adb.eni.securityGroupId": "sg-bp14qrdskvwnzels****",
        "spark.hadoop.hive.metastore.uris": "thrift://192.168.XX.XX:9083"
    }
重要

配置Notebook作業的啟動參數將重啟Notebook Kernel,重啟過程預計等待3分鐘,重啟期間執行中的Notebook作業會失敗。

③狀態列

參數

說明

儲存成功

Notebook作業的儲存狀態,控制台將每隔5秒自動儲存一次Notebook作業。

kernel

Notebook Kernel的狀態,控制台將每隔5秒自動重新整理一次Notebook Kernel的狀態。Notebook Kernel的狀態取值如下:

  • 未啟動且控制台文案顯示Kernel 未啟動,表示Kernel未啟動,請單擊Kernel>重啟Kernel,啟動Kernel。

  • 空閑且控制台文案顯示Kernel 空閑,表示Kernel空閑,可執行Notebook作業。

  • 啟動中且控制台文案顯示Kernel 啟動中,表示Kernel啟動中,請稍等。

  • 作業較多且控制台文案顯示Kernel 繁忙,表示Kernel中執行的代碼數較多,請稍等重試。

  • 啟動錯誤且控制台文案顯示Kernel 錯誤,表示Kernel啟動錯誤,請等待或重啟Kernel。

  • karnel已失效且控制台文案顯示Kernel 已失效,表示Kernel已失效,請重啟Kernel。

  • kernel已銷毀且控制台文案顯示Kernel 已銷毀,表示Kernel已銷毀,請重啟Kernel。

  • 狀態未知且控制台文案顯示Kernel 未知,表示Kernel狀態未知,請重啟Kernel。

④段落

duanluo

段落頁面說明如下:

參數

說明

啟動並執行控制代碼ID:標識運行語句的唯一控制代碼ID,用於問題定位。

代碼編輯框:文法關鍵詞自動高亮,支援Spark SQL和Python兩種程式設計語言。

工具列:包括語言切換、代碼格式化、執行代碼、暫停運行代碼、清空結果和刪除段落。具體說明如下:

  • 下拉框:程式設計語言支援Spark SQL和Python兩種程式設計語言。

  • 格式化:代碼格式化,僅支援Spark SQL程式設計語言的格式化。

  • 運行:執行當前段落代碼。

  • 取消:暫停執行當前段落代碼。

  • 清空:清空當前段落執行結果。

  • 刪除:刪除當前段落。

運行結果:僅Spark SQL執行結果以表格形式展示,其它語言的執行結果以文本形式展示。

運行狀態列:包括執行狀態、耗時和最後更新時間。

錯誤碼說明

錯誤碼

錯誤資訊

解決方案

Console.NotebookNamingDuplicate

Notebook名稱重複。

請重新設定Notebook名稱。

Console.NotebookParagraphNotRunning

Notebook代碼未執行。

請執行Notebook代碼。

Console.NotebookParagraphMissingProgramCode

Notebook段落找不到程式碼。

請在段落中編寫程式碼。

Console.NotebookKernelNotStartup

Notebook Kernel未啟動。

請啟動Notebook Kernel。

Spark.NotebookKernelStarting

Notebook Kernel啟動中。

請稍後重試。

Spark.NotebookKernelBusy

Notebook Kernel待執行代碼數較多。

請稍後重試。

Spark.NotebookKernelExpired

Notebook Kernel已到期。

請重啟Kernel。

Spark.NotebookKernelInvalidStatus

Notebook Kernel狀態無效。

請重啟Kernel。

Spark.GetNotebookKernelFailed

Notebook Kernel啟動失敗。

請聯絡支援人員。

Spark.GetNotebookKernelStateFailed

Notebook Kernel狀態查詢失敗。

Spark.ExecuteNotebookStatementFailed

Notebook代碼執行失敗。

Spark.CancelNotebookStatementFailed

Notebook代碼暫停執行失敗。

Spark.GetNotebookStatementResultFailed

Notebook代碼返回結果查詢失敗。

Spark.CloseNotebookKernelFailed

Notebook Kernel關閉失敗。

Console.NotebookNotFound

已建立的Notebook找不到。

Console.NotebookCreateFailed

Notebook建立失敗。

Console.NotebookParagraphNotFound

Notebook段落找不到。

Console.NotebookParagraphCreateFailed

Notebook段落建立失敗。