通過資料檢視組件,您可以可視化地瞭解特徵與標籤列的分布情況及特徵的特點,以便後續進行資料分析。該組件支援稀疏和稠密資料格式。本文為您介紹Designer提供的資料檢視演算法的參數配置方式及使用樣本。
組件配置
您可以使用以下任意一種方式,配置資料檢視組件參數。
方式一:可視化方式
在Designer工作流程頁面配置組件參數。
頁簽 | 參數 | 描述 |
欄位設定 | 選擇特徵列 | 用來表現訓練樣本資料特徵的列。 |
選擇目標列 | 用來進行訓練樣本資料的目標列。 | |
枚舉特徵 | 勾選的特徵將被視作枚舉特徵處理。 | |
k:v,k:v稀疏資料格式 | 是否採用KV格式的稀疏資料。 | |
參數設定 | 連續特徵離散區間數 | 連續性特徵等距離劃分最大區間數。 |
執行調優 | 計算核心數 | 計算的核心數,取值範圍為正整數。 |
每個核心記憶體 | 每個核心的記憶體,取值範圍為1 MB~65536 MB。 |
方式二:PAI命令方式
使用PAI命令方式,配置該組件參數。您可以使用SQL指令碼組件進行PAI命令調用,詳情請參見SQL指令碼。
PAI
-name fe_meta_runner
-project algo_public
-DinputTable="pai_dense_10_10"
-DoutputTable="pai_temp_2263_20384_1"
-DmapTable="pai_temp_2263_20384_2"
-DselectedCols="pdays,previous,emp_var_rate,cons_price_idx,cons_conf_idx,euribor3m,nr_employed,age,campaign,poutcome"
-DlabelCol="y"
-DcategoryCols="previous"
-Dlifecycle="28"-DmaxBins="5" ;
參數名稱 | 是否必選 | 描述 | 預設值 |
inputTable | 是 | 輸入表的名稱。 | 無 |
inputTablePartitions | 否 | 輸入表中,參與訓練的分區。系統支援以下格式:
說明 指定多個分區時,分區之間使用英文逗號(,)分隔。 | 無 |
outputTable | 是 | 輸出表名稱。 | 無 |
mapTable | 是 | 輸出映射表,資料檢視對String類字串會做一個統計,映射成數字(轉換成Int方便機器學習識別和訓練) | 無 |
selectedCols | 是 | 輸入表選擇列名類型。 | 無 |
labelCol | 否 | 標籤列。 | 無 |
categoryCols | 否 | 把Int或者Double欄位當做枚舉特徵。 | 無 |
maxBins | 否 | 連續性特徵等距離劃分最大區間數。 | 100 |
isSparse | 否 | 輸入資料是否為稀疏格式,取值範圍為{true,false}。 | false |
itemSpliter | 否 | 當輸入表資料為稀疏格式時,KV對之間的分隔字元。 | 英文逗號(,) |
kvSpliter | 否 | 當輸入表資料為稀疏格式時,key和value之間的分隔字元。 | 英文冒號(:) |
lifecycle | 否 | 表的生命週期。 | 28 |
coreNum | 否 | 計算的核心數,取值範圍為正整數。取值範圍[1, 9999]。 | 系統自動分配 |
memSizePerCore | 否 | 每個核心的記憶體,取值範圍為1 MB~65536 MB。 | 系統自動分配 |
樣本
輸入資料
age
workclass
fwlght
edu
edu_num
married
c
family
race
sex
gail
loss
work_year
country
income
39
State-gov
77516
Bachelors
13
Never-married
Adm-clerical
Not-in-family
White
Male
2174.0
0.0
40.0
United-States
<=50K
50
Self-emp-not-inc
83311
Bachelors
13
Married-civ-spouse
Exec-managerial
Husband
White
Male
0.0
0.0
13.0
United-States
<=50K
38
Private
215646
HS-grad
9
Divorced
Handlers-cleaners
Not-in-family
White
Male
0.0
0.0
40.0
United-States
<=50K
53
Private
234721
11th
7
Married-civ-spouse
Handlers-cleaners
Husband
Black
Male
0.0
0.0
40.0
United-States
<=50K
28
Private
338409
Bachelors
13
Married-civ-spouse
Prof-specialty
Wife
Black
Female
0.0
0.0
40.0
Other
<=50K
37
Private
284582
Masters
14
Married-civ-spouse
Exec-managerial
Wife
White
Female
0.0
0.0
40.0
United-States
<=50K
49
Private
160187
9th
5
Married-spouse-absent
Other-service
Not-in-family
Black
Female
0.0
0.0
16.0
Jamaica
<=50K
52
Self-emp-not-inc
209642
HS-grad
9
Married-civ-spouse
Exec-managerial
Husband
White
Male
0.0
0.0
45.0
United-States
>50K
31
Private
45781
Masters
14
Never-married
Prof-specialty
Not-in-family
White
Female
14084.0
0.0
50.0
United-States
>50K
42
Private
159449
Bachelors
13
Married-civ-spouse
Exec-managerial
Husband
White
Male
5178.0
0.0
40.0
United-States
>50K
建模DAG
在資料檢視的欄位設定頁簽,選擇income為目標列,其他14個欄位為特徵列,其中BIGINT類型的edu_num欄位作為枚舉值處理。
建模效果
按右鍵資料檢視,選擇family、race、sex及income等映射成數值(某種程度有資料格式轉換的功能)。
,為了方便資料被機器學習演算法訓練,將STRING欄位的按右鍵資料檢視,選擇
。說明如果沒有選擇STRING類型的特徵列,則輸出結果中String欄位特徵值對應表內容為空白。
按右鍵資料檢視,選擇distribute_info表示將最大值和最小值區間等距劃分,然後統計每個區間裡的資料條數。
。其中: