全部產品
Search
文件中心

Platform For AI:資料檢視

更新時間:Jul 13, 2024

通過資料檢視組件,您可以可視化地瞭解特徵與標籤列的分布情況及特徵的特點,以便後續進行資料分析。該組件支援稀疏和稠密資料格式。本文為您介紹Designer提供的資料檢視演算法的參數配置方式及使用樣本。

組件配置

您可以使用以下任意一種方式,配置資料檢視組件參數。

方式一:可視化方式

Designer工作流程頁面配置組件參數。

頁簽

參數

描述

欄位設定

選擇特徵列

用來表現訓練樣本資料特徵的列。

選擇目標列

用來進行訓練樣本資料的目標列。

枚舉特徵

勾選的特徵將被視作枚舉特徵處理。

k:v,k:v稀疏資料格式

是否採用KV格式的稀疏資料。

參數設定

連續特徵離散區間數

連續性特徵等距離劃分最大區間數。

執行調優

計算核心數

計算的核心數,取值範圍為正整數。

每個核心記憶體

每個核心的記憶體,取值範圍為1 MB~65536 MB。

方式二:PAI命令方式

使用PAI命令方式,配置該組件參數。您可以使用SQL指令碼組件進行PAI命令調用,詳情請參見SQL指令碼

PAI
-name fe_meta_runner
-project algo_public
-DinputTable="pai_dense_10_10"
-DoutputTable="pai_temp_2263_20384_1"
-DmapTable="pai_temp_2263_20384_2"
-DselectedCols="pdays,previous,emp_var_rate,cons_price_idx,cons_conf_idx,euribor3m,nr_employed,age,campaign,poutcome"
-DlabelCol="y"
-DcategoryCols="previous"
-Dlifecycle="28"-DmaxBins="5" ;

參數名稱

是否必選

描述

預設值

inputTable

輸入表的名稱。

inputTablePartitions

輸入表中,參與訓練的分區。系統支援以下格式:

  • Partition_name=value

  • name1=value1/name2=value2:多級分區

說明

指定多個分區時,分區之間使用英文逗號(,)分隔。

outputTable

輸出表名稱。

mapTable

輸出映射表,資料檢視對String類字串會做一個統計,映射成數字(轉換成Int方便機器學習識別和訓練)

selectedCols

輸入表選擇列名類型。

labelCol

標籤列。

categoryCols

把Int或者Double欄位當做枚舉特徵。

maxBins

連續性特徵等距離劃分最大區間數。

100

isSparse

輸入資料是否為稀疏格式,取值範圍為{true,false}

false

itemSpliter

當輸入表資料為稀疏格式時,KV對之間的分隔字元。

英文逗號(,)

kvSpliter

當輸入表資料為稀疏格式時,keyvalue之間的分隔字元。

英文冒號(:)

lifecycle

表的生命週期。

28

coreNum

計算的核心數,取值範圍為正整數。取值範圍[1, 9999]。

系統自動分配

memSizePerCore

每個核心的記憶體,取值範圍為1 MB~65536 MB。

系統自動分配

樣本

  • 輸入資料

    age

    workclass

    fwlght

    edu

    edu_num

    married

    c

    family

    race

    sex

    gail

    loss

    work_year

    country

    income

    39

    State-gov

    77516

    Bachelors

    13

    Never-married

    Adm-clerical

    Not-in-family

    White

    Male

    2174.0

    0.0

    40.0

    United-States

    <=50K

    50

    Self-emp-not-inc

    83311

    Bachelors

    13

    Married-civ-spouse

    Exec-managerial

    Husband

    White

    Male

    0.0

    0.0

    13.0

    United-States

    <=50K

    38

    Private

    215646

    HS-grad

    9

    Divorced

    Handlers-cleaners

    Not-in-family

    White

    Male

    0.0

    0.0

    40.0

    United-States

    <=50K

    53

    Private

    234721

    11th

    7

    Married-civ-spouse

    Handlers-cleaners

    Husband

    Black

    Male

    0.0

    0.0

    40.0

    United-States

    <=50K

    28

    Private

    338409

    Bachelors

    13

    Married-civ-spouse

    Prof-specialty

    Wife

    Black

    Female

    0.0

    0.0

    40.0

    Other

    <=50K

    37

    Private

    284582

    Masters

    14

    Married-civ-spouse

    Exec-managerial

    Wife

    White

    Female

    0.0

    0.0

    40.0

    United-States

    <=50K

    49

    Private

    160187

    9th

    5

    Married-spouse-absent

    Other-service

    Not-in-family

    Black

    Female

    0.0

    0.0

    16.0

    Jamaica

    <=50K

    52

    Self-emp-not-inc

    209642

    HS-grad

    9

    Married-civ-spouse

    Exec-managerial

    Husband

    White

    Male

    0.0

    0.0

    45.0

    United-States

    >50K

    31

    Private

    45781

    Masters

    14

    Never-married

    Prof-specialty

    Not-in-family

    White

    Female

    14084.0

    0.0

    50.0

    United-States

    >50K

    42

    Private

    159449

    Bachelors

    13

    Married-civ-spouse

    Exec-managerial

    Husband

    White

    Male

    5178.0

    0.0

    40.0

    United-States

    >50K

  • 建模DAG建模DAG

    資料檢視欄位設定頁簽,選擇income為目標列,其他14個欄位為特徵列,其中BIGINT類型的edu_num欄位作為枚舉值處理。資料檢視配置

  • 建模效果

    • 按右鍵資料檢視,選擇查看資料 > 輸出,為了方便資料被機器學習演算法訓練,將STRING欄位的familyracesexincome等映射成數值(某種程度有資料格式轉換的功能)。輸出

    • 按右鍵資料檢視,選擇查看資料 > String欄位特徵值對應表

      說明

      如果沒有選擇STRING類型的特徵列,則輸出結果中String欄位特徵值對應表內容為空白。

      映射表

    • 按右鍵資料檢視,選擇查看資料 > 輸出Meta表輸出Meta表其中:distribute_info表示將最大值和最小值區間等距劃分,然後統計每個區間裡的資料條數。