本文为您介绍Designer提供的相关系数矩阵。
相关系数算法用于计算一个矩阵中每列之间的相关系数,取值范围为[-1,1]。系统计算时,count数按两列间同时非空的元素个数计算,两两列之间可能不同。
组件配置
您可以使用以下任意一种方式,配置相关系数矩阵组件参数。
方式一:可视化方式
在Designer工作流页面配置组件参数。
页签 | 参数 | 描述 |
字段设置 | 默认全选 | 无 |
执行调优 | 核心数 | 与内存数同时设置后,该参数才生效。 |
内存数 | 与核心数同时设置后,该参数才生效。 |
方式二:PAI命令方式
使用PAI命令方式,配置该组件参数。您可以使用SQL脚本组件进行PAI命令调用,详情请参见SQL脚本。
PAI -name corrcoef
-project algo_public
-DinputTableName=maple_test_corrcoef_basic12x10_input
-DoutputTableName=maple_test_corrcoef_basic12x10_output
-DcoreNum=1
-DmemSizePerCore=110;
参数名称 | 是否必选 | 描述 | 默认值 |
inputTableName | 是 | 输入表的名称。 | 无 |
inputTablePartitions | 否 | 输入表中,参与训练的分区。系统支持以下格式:
说明 指定多个分区时,分区之间使用英文逗号(,)分隔。 | 无 |
outputTableName | 是 | 输出表名称列表。 | 无 |
selectedColNames | 否 | 输入表选择列名类型。 | 默认选择全部列 |
lifecycle | 否 | 指定输出表的生命周期。 | 无 |
coreNum | 否 | 与参数memSizePerCore配对使用,正整数。范围为[1, 9999]。 | 默认自动计算 |
memSizePerCore | 否 | 单个节点内存大小,单位MB。正整数,范围为[1024, 64*1024]。 | 默认自动计算 |
示例
数据生成
col0:double
col1:bigint
col2:double
col3:bigint
col4:double
col5:bigint
col6:double
col7:bigint
col8:double
col9:double
19
95
33
52
115
43
32
98
76
40
114
26
101
69
56
59
116
23
109
105
103
89
7
9
65
118
73
50
55
81
79
20
63
71
5
24
77
31
21
75
87
16
66
47
25
14
42
99
108
57
11
104
38
37
106
51
3
91
80
97
84
30
70
46
8
6
94
22
45
48
35
17
107
64
10
112
53
34
90
96
13
61
39
1
29
117
112
2
82
28
62
4
102
88
100
36
67
54
12
85
49
27
44
93
68
110
60
72
86
58
92
119
0
113
41
15
74
83
18
111
PAI命令
PAI -name corrcoef -project algo_public -DinputTableName=maple_test_corrcoef_basic12x10_input -DoutputTableName=maple_test_corrcoef_basic12x10_output -DcoreNum=1 -DmemSizePerCore=110;
运行结果
columnsnames
col0
col1
col2
col3
col4
col5
col6
col7
col8
col9
col0
1
-0.2115657251820724
0.0598306259706561
0.2599903570684693
-0.3483249188225586
-0.28716254396809926
0.47880162127435116
-0.13646519484213326
-0.19500158764680092
0.3897390240949085
col1
-0.2115657251820724
1
-0.8444477377898585
-0.17507636221594533
0.40943384150571377
0.09135976026101403
-0.3018506374626574
0.40733726912808044
-0.11827739124590071
0.12433851389455183
col2
0.0598306259706561
-0.8444477377898585
1
0.18518346647293102
-0.20934839228057014
-0.1896417512389659
0.1799377498863213
-0.3858885676469948
0.20254569203773892
0.13476160753756655
col3
0.2599903570684693
-0.17507636221594533
0.18518346647293102
1
0.03988018649854009
-0.43737887418329147
-0.053818296425267184
0.2900856441586986
-0.3607547910075688
0.4912019074930449
col4
-0.3483249188225586
0.40943384150571377
-0.20934839228057014
0.03988018649854009
1
0.1465605209246875
-0.5016030364347955
0.5496024325711117
0.013743256115394122
0.07497231559184887
col5
-0.28716254396809926
0.09135976026101403
-0.1896417512389659
-0.43737887418329147
0.1465605209246875
1
0.16729809310873522
-0.29890655828796964
0.3618518101014617
-0.1713960957286885
col6
0.47880162127435116
-0.3018506374626574
0.1799377498863213
-0.053818296425267184
-0.5016030364347955
0.16729809310873522
1
-0.8165019880156462
-0.11173420918721436
-0.10363860378347944
col7
-0.13646519484213326
0.40733726912808044
-0.3858885676469948
0.2900856441586986
0.5496024325711117
-0.29890655828796964
-0.8165019880156462
1
0.07435907471544469
0.11711976051999162
col8
-0.19500158764680092
-0.11827739124590071
0.20254569203773892
-0.3607547910075688
0.013743256115394122
0.3618518101014617
-0.11173420918721436
0.07435907471544469
1
-0.18463012549540175
col9
0.3897390240949085
0.12433851389455183
0.13476160753756655
0.4912019074930449
0.07497231559184887
-0.1713960957286885
-0.10363860378347944
0.11711976051999162
-0.18463012549540175
1