過濾與映射組件可以對資料按照過濾運算式進行篩選,並且您可以修改輸出欄位名稱。
組件配置
您可以使用以下任意一種方式,配置過濾與映射組件參數。
方式一:可視化方式
在Designer工作流程頁面配置組件參數。
參數 | 描述 |
選擇欄位 | 選擇要篩選的列,預設選擇全部列。也可以修改輸出欄位名稱。 |
過濾條件 | 通過where條件實現資料過濾,與SQL類似,例如age>40。 說明 僅支援以下操作符:
|
方式二:PAI命令方式
使用PAI命令方式,配置該組件參數。您可以使用SQL指令碼組件進行PAI命令調用,詳情請參見SQL指令碼。
PAI -name Filter
-project algo_public
-DoutTableName="test_9"
-DinputPartitions="pt=20150501"
-DinputTableName="bank_data_partition"
-Dfilter="age>=40";
參數名稱 | 是否必選 | 參數描述 |
outputTableName | 是 | 輸出表的名稱 |
inputPartitions | 否 | 訓練輸入表分區。輸入表對應的輸入分區,選中全表則為None。 |
inputTableName | 是 | 輸入表的名稱 |
filter | 否 | 通過where條件實現資料過濾,與SQL類似,例如age>40。 說明 僅支援以下操作符:
|