相関係数行列 - Platform For AI - Alibaba Cloud ドキュメントセンター

相関係数行列は、複数の変数間のペアワイズ相関を定量化および表示するために使用されるツールである。行列の各要素は、対応する変数間の相関係数を表す。ほとんどの場合、ピアソン相関係数は線形関係を測定するために使用されます。相関係数行列は、特徴選択、データ分析、およびモデル構築に不可欠であり、変数間の線形依存関係および多重共線性の問題を特定するのに役立ちます。

コンポーネントの設定

方法1: パイプラインページでコンポーネントを設定する

Machine Learning Designerのパイプラインの詳細ページで、相関係数行列コンポーネントをパイプラインに追加し、次の表に示すパラメーターを設定します。

タブ	パラメーター	説明
フィールド設定	すべてデフォルトで選択	行列計算で使用されるフィーチャ列。デフォルトでは、すべてのフィーチャ列が相関分析に選択されます。
チューニング	コア	このパラメーターは、[メモリサイズ] パラメーターと共に使用する必要があります。
チューニング	メモリサイズ	このパラメーターは、Coresパラメーターと共に使用する必要があります。

方法2: PAIコマンドを使用する

PAIコマンドを使用してコンポーネントパラメータを設定します。 SQLスクリプトコンポーネントを使用してPAIコマンドを呼び出すことができます。詳細については、「シナリオ4: SQLスクリプトコンポーネント内でPAIコマンドを実行する」をご参照ください。

PAI -name corrcoef
    -project algo_public
    -DinputTableName=maple_test_corrcoef_basic12x10_input
    -DoutputTableName=maple_test_corrcoef_basic12x10_output
    -DcoreNum=1
    -DmemSizePerCore=110;

パラメーター	必須 / 任意	デフォルト値	説明
inputTableName	対象	デフォルト値なし	入力テーブルの名前。
inputTablePartitions	非対象	デフォルト値なし	トレーニング用に入力テーブルから選択されたパーティション。次の形式がサポートされています。 partition_name=value name1=value1/name2=value2: マルチレベルパーティション説明複数のパーティションを指定する場合は、コンマ (,) で区切ります。例: name1=value1,value2
outputTableName	対象	デフォルト値なし	出力テーブルの名前。
selectedColNames	非対象	すべての列	入力テーブルから選択された列。
ライフサイクル	非対象	デフォルト値なし	出力テーブルのライフサイクル。
coreNum	非対象	システムによって決定される	このパラメーターは、memSizePerCoreパラメーターと共に使用する必要があります。値は正の整数である必要があります。有効な値: 1 ~ 9999
memSizePerCore	非対象	システムによって決定される	各コアのメモリサイズ。単位：MB。値は [1024, 64 × 1024] の範囲の正の整数でなければなりません。

例：

次のテストデータを生成します。

col0: ダブル	col1:bigint	col2: ダブル	col3:bigint	col4: ダブル	col5:bigint	col6: ダブル	col7:bigint	col8: ダブル	col9: ダブル
19	95	33	52	115	43	32	98	76	40
114	26	101	69	56	59	116	23	109	105
103	89	7	9	65	118	73	50	55	81
79	20	63	71	5	24	77	31	21	10,000 回の呼び出しあたり 75
87	16	66	47	25	14	42	99	108	57
11	104	38	37	106	51	3	91	80	97
84	30	70	46	8	6	94	22	45	48
35	17	107	64	10	112	53	34	90	96
13	61	39	1	29	117	112	2	82	28
62	4	102	88	100	36	67	54	12	85
49	27	44	93	68	110	60	72	86	58
92	119	0	113	41	有効期限の 15	74	83	18	111

次のPAIコマンドを実行します。

PAI -name corrcoef
    -project algo_public
    -DinputTableName=maple_test_corrcoef_basic12x10_input
    -DoutputTableName=maple_test_corrcoef_basic12x10_output
    -DcoreNum=1
    -DmemSizePerCore=110;

返された結果を表示します。

columnsnames	col0	col1	col2	col3	col4	col5	col6	col7	col8	col9
col0	1	-0.2115657251820724	0.0598306259706561	0.2599903570684693	-0.3483249188225586	-0.28716254396809926	0.47880162127435116	-0.13646519484213326	-0.19500158764680092	0.3897390240949085
col1	-0.2115657251820724	1	-0.8444477377898585	-0.17507636221594533	0.40943384150571377	0.09135976026101403	-0.3018506374626574	0.40733726912808044	-0.11827739124590071	0.12433851389455183
col2	0.0598306259706561	-0.8444477377898585	1	0.18518346647293102	-0.20934839228057014	-0.1896417512389659	0.1799377498863213	-0.3858885676469948	0.20254569203773892	0.13476160753756655
col3	0.2599903570684693	-0.17507636221594533	0.18518346647293102	1	0.03988018649854009	-0.43737887418329147	-0.053818296425267184	0.2900856441586986	-0.3607547910075688	0.4912019074930449
col4	-0.3483249188225586	0.40943384150571377	-0.20934839228057014	0.03988018649854009	1	0.1465605209246875	-0.5016030364347955	0.5496024325711117	0.013743256115394122	0.07497231559184887
col5	-0.28716254396809926	0.09135976026101403	-0.1896417512389659	-0.43737887418329147	0.1465605209246875	1	0.16729809310873522	-0.29890655828796964	0.3618518101014617	-0.1713960957286885
col6	0.47880162127435116	-0.3018506374626574	0.1799377498863213	-0.053818296425267184	-0.5016030364347955	0.16729809310873522	1	-0.8165019880156462	-0.11173420918721436	-0.10363860378347944
col7	-0.13646519484213326	0.40733726912808044	-0.3858885676469948	0.2900856441586986	0.5496024325711117	-0.29890655828796964	-0.8165019880156462	1	0.07435907471544469	0.11711976051999162
col8	-0.19500158764680092	-0.11827739124590071	0.20254569203773892	-0.3607547910075688	0.013743256115394122	0.3618518101014617	-0.11173420918721436	0.07435907471544469	1	-0.18463012549540175
col9	0.3897390240949085	0.12433851389455183	0.13476160753756655	0.4912019074930449	0.07497231559184887	-0.1713960957286885	-0.10363860378347944	0.11711976051999162	-0.18463012549540175	1