MTableエキスパンダー - Platform For AI - Alibaba Cloud ドキュメントセンター

MTable Expanderを使用してMTableをテーブルに展開し、データ処理とデモンストレーションを容易にすることができます。

サポートされるコンピューティングリソース

MaxCompute
Apache Flink
ディープラーニングコンテナ (DLC)

Machine Learning Platform for AI (PAI) コンソールでのコンポーネントの設定

入力ポート
入力ポート (左から右へ)
データ型
推奨上流コンポーネント
必要
data
なし
読み取りテーブル
預言者
可
コンポーネントパラメータ

Category	パラメーター		必要な値
フィールド設定	selectedCol		計算された列の名前。このパラメーターの値は、MTABLE形式のSTRINGです。
	reservedCols		アルゴリズムによって予約される列。
パラメーター設定	Schema		展開された列の名前と型。形式はcolname coltype[, colname2, coltype2[, ...]] で、f0 string, f1 bigint, f2 doubleなどです。
	handleInvalidMethod		無効な値を処理するために使用されるメソッド。有効な値： error (デフォルト) skip
実行チューニング	[実行モードの選択]	MaxCompute	MaxComputeまたはFlinkコンピューティングリソースを使用します。ワーカーの数とそのメモリを設定する方法については、「付録: リソース使用量を推定する方法」をご参照ください。
		Flink
		DLC	DLCコンピューティングリソースを使用します。プロンプトに基づいて仕様を設定します。

コーディングによるコンポーネントの設定

次のコードをPyAlink Scriptコンポーネントのコードエディターにコピーできます。これにより、PyAlinkスクリプトコンポーネントはMTable Expanderコンポーネントのように機能します。

import numpy as np
import pandas as pd
from pyalink.alink import *
 
df_data = pd.DataFrame([
      ["a1", "11L", 2.2],
      ["a1", "12L", 2.0],
      ["a2", "11L", 2.0],
      ["a2", "12L", 2.0],
      ["a3", "12L", 2.0],
      ["a3", "13L", 2.0],
      ["a4", "13L", 2.0],
      ["a4", "14L", 2.0],
      ["a5", "14L", 2.0],
      ["a5", "15L", 2.0],
      ["a6", "15L", 2.0],
      ["a6", "16L", 2.0]
])
 
input = BatchOperator.fromDataframe(df_data, schemaStr='id string, f0 string, f1 double')
 
zip = GroupByBatchOp()\
	.setGroupByPredicate("id")\
	.setSelectClause("id, mtable_agg(f0, f1) as m_table_col")
 
flatten = FlattenMTableBatchOp()\
	.setReservedCols(["id"])\
	.setSelectedCol("m_table_col")\
	.setSchemaStr('f0 string, f1 int')
 
zip.linkFrom(input).link(flatten).print()

入力ポート (左から右へ)	データ型	推奨上流コンポーネント	必要
data	なし	読み取りテーブル預言者	可