DataWorks:Notebook 開発

始める前に、以下の要件を満たしていることを確認してください：

• 現在のワークスペースで新しい DataStudio が有効になっていること。

• サーバーレスリソースグループが作成されていること。Notebook を本番環境で実行するには、サーバーレスリソースグループが必要です。

• 個人開発環境インスタンスが作成されていること。Notebook を開発環境で実行およびデバッグするには、個人開発環境インスタンスが必要です。

  作成していない場合は、「個人開発環境インスタンスの作成」をご参照ください。

操作手順：

1. Notebook ノードの作成

   1. [DataStudio] で、[ワークスペースディレクトリ] の下にノートブックノードを作成します。

   2. Notebook の名前 (例：hello_notebook) を入力し、送信します。

2. 個人開発環境の選択

   上部のナビゲーションバーで、[個人開発環境] をクリックし、次にドロップダウンリストからお使いの個人開発環境インスタンスを選択します。

3. パラメーターを定義する Python セルの作成

   Python セルを追加し、次のコードを入力します。このステップでは、後続の SQL クエリのために city 変数を定義します。

   # 後続の SQL クエリ用の変数を定義
   city = 'Beijing'
   print(f"Defined city variable city = {city}")

4. データをクエリする SQL セルの作成

   1. 最初のセルの下に、SQL セルを追加します。

   2. セルの右下隅で、SQL タイプを MaxCompute SQL に切り替えます。

   3. 次の SQL コードを入力します。このコードは、前の Python セルで定義された city 変数を ${city} 構文で参照します。

      -- Python で定義された変数を使用してクエリを実行
      SELECT '${city}' AS city;

5. セルの実行と結果の表示

   1. Notebook の上部にあるツールバーの [すべて実行] ボタンをクリックします。

   2. 各セルの実行結果を確認します：

      • Python セルの下の出力に Defined city variable city = Beijing と表示されます。

      • SQL セルの下にクエリ結果がテーブル形式で表示されます。

これで、Python と SQL の連携を含む Notebook の作成と実行が正常に完了しました。

開発環境と本番環境

コンピューティングリソースとカーネル

• コンピューティングリソース：Notebook に接続されたバックエンドのコンピュートエンジン (例：MaxCompute、EMR Serverless Spark)。SQL セルを実行するには、コンピューティングリソースにバインドする必要があります。

• Python カーネル：Python コードを実行するバックエンド環境。DataWorks Notebook では、通常はご利用の個人開発環境インスタンスです。Python コード内で %odps などのマジックコマンドを使用して、コンピューティングリソースに接続し、タスクを送信したりデータを操作したりできます。

フォルダタイプと利用シーン

Notebook を作成する場所によって、コラボレーションモデル、権限、公開フローが決まります。

セルの管理

• セルの追加: 既存のセルの上端または下端にマウスカーソルを合わせ、表示される [+ SQL] などのボタンのいずれかをクリックします。 上部のツールバーのボタンも使用できます。

• セルタイプの切り替え：セルの右下隅にあるタイプ識別子 (例：Python) をクリックし、メニューから新しいタイプ (例：SQL や Markdown) を選択します。タイプを切り替えてもセル内のコードは保持されます。新しいタイプに合わせて手動で修正する必要があります。

• セルの移動：セルの左側にある青い縦線にカーソルを合わせ、クリックしてドラッグすることで順序を変更します。

• セルの実行：

  • 単一セルの実行：[実行] をクリックします。

  • すべてのセルを実行: Notebook ツールバーの [すべて実行] をクリックします。

パラメーターの受け渡し

Copilot によるプログラミング支援

DataWorks Copilot は、コードの生成と説明を支援する組み込みのインテリジェントプログラミングアシスタントです。

呼び出し：

• 選択したセルの左上隅にある Copilot アイコンをクリックします。

• SQL セル内を右クリックし、Copilot を選択します。

• キーボードショートカット Cmd+I (Mac) または Ctrl+I (Windows) を使用します。

1. スケジューリングパラメーターの設定

スケジュールされた実行ごとに Notebook のパラメーターを動的に変更する必要がある場合 (例：毎日異なるパーティションのデータを処理する)、パラメーター化されたスケジューリングを設定できます。

1. パラメーターセルのマーク: コアパラメーター定義を含む Python セルで、右上隅にある ... メニューをクリックし、[セルをパラメーターとしてマーク] を選択します。これにより、セルに parameters タグが追加され、スケジューリングタスクのパラメーターエントリポイントとしてマークされます。

   

2. スケジューリングパラメーターの設定：

   1. Notebook の右ペインで、[スケジューリング] をクリックします。

   2. [スケジューリングパラメーター] エリアで、コードで定義されている変数（var など）に値を割り当てます。

      

タスクがスケジューリングシステムによって自動的に実行されると、コード内の var パラメーターの実際の値は、スケジューリングパラメーターで構成された値に動的に置き換えられます。

2. ランタイム環境とリソースの設定

1. イメージの設定: [スケジューリング] で、Notebook の実行に必要なすべての依存関係を含むイメージを選択します。これは、本番環境での実行を成功させるためのキーとなります。

   重要

   `pip install` などのメソッドを使用して個人開発環境インスタンスに Python パッケージをインストールする場合、本番環境で同じ依存関係を確保するには、個人開発環境から DataWorks イメージを作成する必要があります。その後、[スケジューリング] でこのカスタムイメージを選択します。詳細については、「個人開発環境から DataWorks イメージを作成する」をご参照ください。

2. リソースグループの設定：タスクの実行に使用するリソースグループを選択します。サーバーレスリソースグループの場合、リソース不足によるタスクの起動失敗を防ぐため、16 CU 以下で構成することを推奨します。単一のタスクは最大 64 CU をサポートします。

3. 関連ロールの設定：詳細な権限コントロールのために、特定の RAM ロールをノードに関連付けることができます。これにより、ノードはそのロールの ID で実行されます。詳細については、「ノードの関連ロールを設定」をご参照ください。

3. ノードの公開

ワークスペースディレクトリ内のノードのみが公開され、定期的にスケジュールできます。

• ワークスペースディレクトリ内のノートブックの場合: 構成が完了したら、上部ツールバーの [公開] ボタンをクリックします。

• 個人ディレクトリ内のノートブックの場合: デプロイメントの前に、[保存] ボタンをクリックしてから [ワークスペースディレクトリにコミット] をクリックする必要があります。

Notebook が公開されると、[オペレーションセンター] 内の [自動トリガーノード] ページで Notebook タスクをモニターおよび管理できます。