全部產品
Search
文件中心

Platform For AI:相關係數矩陣

更新時間:Jul 13, 2024

本文為您介紹Designer提供的相關係數矩陣。

相關係數演算法用於計算一個矩陣中每列之間的相關係數,取值範圍為[-1,1]。系統計算時,count數按兩列間同時非空的元素個數計算,兩兩列之間可能不同。

組件配置

您可以使用以下任意一種方式,配置相關係數矩陣組件參數。

方式一:可視化方式

Designer工作流程頁面配置組件參數。

頁簽

參數

描述

欄位設定

預設全選

執行調優

核心數

記憶體數同時設定後,該參數才生效。

記憶體數

核心數同時設定後,該參數才生效。

方式二:PAI命令方式

使用PAI命令方式,配置該組件參數。您可以使用SQL指令碼組件進行PAI命令調用,詳情請參見SQL指令碼

PAI -name corrcoef
    -project algo_public
    -DinputTableName=maple_test_corrcoef_basic12x10_input
    -DoutputTableName=maple_test_corrcoef_basic12x10_output
    -DcoreNum=1
    -DmemSizePerCore=110;

參數名稱

是否必選

描述

預設值

inputTableName

輸入表的名稱。

inputTablePartitions

輸入表中,參與訓練的分區。系統支援以下格式:

  • Partition_name=value

  • name1=value1/name2=value2:多級分區

說明

指定多個分區時,分區之間使用英文逗號(,)分隔。

outputTableName

輸出表名稱列表。

selectedColNames

輸入表選擇列名類型。

預設選擇全部列

lifecycle

指定輸出表的生命週期。

coreNum

與參數memSizePerCore配對使用,正整數。範圍為[1, 9999]

預設自動計算

memSizePerCore

單個節點記憶體大小,單位MB。正整數,範圍為[1024, 64*1024]

預設自動計算

樣本

  • 資料產生

    col0:double

    col1:bigint

    col2:double

    col3:bigint

    col4:double

    col5:bigint

    col6:double

    col7:bigint

    col8:double

    col9:double

    19

    95

    33

    52

    115

    43

    32

    98

    76

    40

    114

    26

    101

    69

    56

    59

    116

    23

    109

    105

    103

    89

    7

    9

    65

    118

    73

    50

    55

    81

    79

    20

    63

    71

    5

    24

    77

    31

    21

    75

    87

    16

    66

    47

    25

    14

    42

    99

    108

    57

    11

    104

    38

    37

    106

    51

    3

    91

    80

    97

    84

    30

    70

    46

    8

    6

    94

    22

    45

    48

    35

    17

    107

    64

    10

    112

    53

    34

    90

    96

    13

    61

    39

    1

    29

    117

    112

    2

    82

    28

    62

    4

    102

    88

    100

    36

    67

    54

    12

    85

    49

    27

    44

    93

    68

    110

    60

    72

    86

    58

    92

    119

    0

    113

    41

    15

    74

    83

    18

    111

  • PAI命令

    PAI -name corrcoef
        -project algo_public
        -DinputTableName=maple_test_corrcoef_basic12x10_input
        -DoutputTableName=maple_test_corrcoef_basic12x10_output
        -DcoreNum=1
        -DmemSizePerCore=110;
  • 運行結果

    columnsnames

    col0

    col1

    col2

    col3

    col4

    col5

    col6

    col7

    col8

    col9

    col0

    1

    -0.2115657251820724

    0.0598306259706561

    0.2599903570684693

    -0.3483249188225586

    -0.28716254396809926

    0.47880162127435116

    -0.13646519484213326

    -0.19500158764680092

    0.3897390240949085

    col1

    -0.2115657251820724

    1

    -0.8444477377898585

    -0.17507636221594533

    0.40943384150571377

    0.09135976026101403

    -0.3018506374626574

    0.40733726912808044

    -0.11827739124590071

    0.12433851389455183

    col2

    0.0598306259706561

    -0.8444477377898585

    1

    0.18518346647293102

    -0.20934839228057014

    -0.1896417512389659

    0.1799377498863213

    -0.3858885676469948

    0.20254569203773892

    0.13476160753756655

    col3

    0.2599903570684693

    -0.17507636221594533

    0.18518346647293102

    1

    0.03988018649854009

    -0.43737887418329147

    -0.053818296425267184

    0.2900856441586986

    -0.3607547910075688

    0.4912019074930449

    col4

    -0.3483249188225586

    0.40943384150571377

    -0.20934839228057014

    0.03988018649854009

    1

    0.1465605209246875

    -0.5016030364347955

    0.5496024325711117

    0.013743256115394122

    0.07497231559184887

    col5

    -0.28716254396809926

    0.09135976026101403

    -0.1896417512389659

    -0.43737887418329147

    0.1465605209246875

    1

    0.16729809310873522

    -0.29890655828796964

    0.3618518101014617

    -0.1713960957286885

    col6

    0.47880162127435116

    -0.3018506374626574

    0.1799377498863213

    -0.053818296425267184

    -0.5016030364347955

    0.16729809310873522

    1

    -0.8165019880156462

    -0.11173420918721436

    -0.10363860378347944

    col7

    -0.13646519484213326

    0.40733726912808044

    -0.3858885676469948

    0.2900856441586986

    0.5496024325711117

    -0.29890655828796964

    -0.8165019880156462

    1

    0.07435907471544469

    0.11711976051999162

    col8

    -0.19500158764680092

    -0.11827739124590071

    0.20254569203773892

    -0.3607547910075688

    0.013743256115394122

    0.3618518101014617

    -0.11173420918721436

    0.07435907471544469

    1

    -0.18463012549540175

    col9

    0.3897390240949085

    0.12433851389455183

    0.13476160753756655

    0.4912019074930449

    0.07497231559184887

    -0.1713960957286885

    -0.10363860378347944

    0.11711976051999162

    -0.18463012549540175

    1