特徵離散 - Platform For AI

特徵離散演算法組件是將連續特徵按照一定的規則進行離散化。

功能介紹

離散模組的功能如下：

支援稠密數值類特徵離散。
支援等頻離散和等距離離散等無監督離散。
說明
無監督離散的特徵離散預設為等距離離散。
支援基於Gini增益離散和基於熵增益離散等有監督離散。
說明
標籤類特徵離散必須是枚舉類型STRING或BIGINT類型。
有監督離散是根據熵增益不斷遍曆尋找切分斷點，已耗用時間可能比較久。切分得到的分區數不受指定的maxBins參數限制。

參數配置

您可以使用以下任意一種方式，配置特徵離散組件參數。

方式一：可視化方式

在Designer工作流程頁面配置組件參數。

頁簽	參數	描述
欄位設定	離散的特徵	選擇需要離散的特徵。
欄位設定	標籤列	如果您設定了該欄位，則可以通過可視化方式查看特徵到目標變數的x-y分布長條圖。
參數設定	離散方法	離散方法。取值如下： Isometric Discretization（等距離散） Isofrequecy Discretization（等頻離散） Gini-gain-based Discretization（基於Gini增益離散） Entropy-gain-based Discretization（基於熵增益離散）推薦使用等距離散、等頻離散。基於Gini增益離散、基於熵增益離散這兩個功能可以理解為實驗性質，如果是需要WOE指標的話，可以查看分箱這個組件。
參數設定	離散區間個數	離散區間的個數。取值為大於1的正整數。
執行調優	計算核心數	計算的核心數目，取值為正整數。
執行調優	每個核心記憶體	每個CPU分配的記憶體大小。

方式二：PAI命令方式

使用PAI命令方式，配置該組件參數。您可以使用SQL指令碼組件進行PAI命令調用，詳情請參見SQL指令碼。

PAI -name fe_discrete_runner_1 -project algo_public
   -DdiscreteMethod=SameFrequecy
   -Dlifecycle=28
   -DmaxBins=5
   -DinputTable=pai_dense_10_1
   -DdiscreteCols=nr_employed
   -DoutputTable=pai_temp_2262_20382_1
   -DmodelTable=pai_temp_2262_20382_2;

參數名稱	是否必選	參數描述	預設值
inputTable	是	輸入表的表名稱。	無
inputTablePartitions	否	輸入表中指定參與訓練的分區，格式為`Partition_name=value`。如果是多級分區，格式為`name1=value1/name2=value2;`。如果指定多個分區，則需要使用,隔開。	輸入表的所有分區。
outputTable	是	離散後的結果表。	無
discreteCols	是	選擇需要離散的特徵。如果選擇的是稀疏特徵，則系統會自動篩選。	“”
labelCol	否	標籤欄位。如果您設定了該欄位，則可以通過可視化方式查看特徵到目標變數的x-y分布長條圖。	無
discreteMethod	否	離散方法。取值如下： Isometric Discretization（等距離散） Isofrequecy Discretization（等頻離散） Gini-gain-based Discretization（基於Gini增益離散） Entropy-gain-based Discretization（基於熵增益離散）	Isometric Discretization
maxBins	否	離散區間個數。取值為大於1的正整數。	100
lifecycle	否	結果表生命週期。取值為正整數。	7
coreNum	否	節點個數。與memSizePerCore參數配對使用，取值為正整數。	系統自動分配。
memSizePerCore	否	單個節點記憶體大小，單位為兆。取值為正整數。	系統自動分配。

樣本

輸入資料

使用 SQL產生輸入資料。

create table if not exists pai_dense_10_1 as
select
    nr_employed
from bank_data limit 10;

參數配置
輸入資料為pai_dense_10_1。離散特徵選取nr_employed，離散方法選擇等距離散，離散區間個數配置為5。
運行結果
nr_employed
4.0
3.0
1.0
3.0
2.0
4.0
3.0
3.0
2.0
3.0

nr_employed
4.0
3.0
1.0
3.0
2.0
4.0
3.0
3.0
2.0
3.0