全部产品
Search
文档中心

人工智能平台 PAI:过滤与映射

更新时间:May 09, 2024

过滤与映射组件可以对数据按照过滤表达式进行筛选,并且您可以修改输出字段名称。

组件配置

您可以使用以下任意一种方式,配置过滤与映射组件参数。

方式一:可视化方式

Designer工作流页面配置组件参数。

参数

描述

选择字段

选择要筛选的列,默认选择全部列。也可以修改输出字段名称。

过滤条件

通过where条件实现数据过滤,与SQL类似,例如age>40

说明

仅支持以下操作符:

  • =

  • !=

  • >

  • <

  • >=

  • <=

  • like

  • rlike

方式二:PAI命令方式

使用PAI命令方式,配置该组件参数。您可以使用SQL脚本组件进行PAI命令调用,详情请参见SQL脚本

PAI -name Filter
    -project algo_public
    -DoutTableName="test_9"
    -DinputPartitions="pt=20150501"
    -DinputTableName="bank_data_partition"
    -Dfilter="age>=40";

参数名称

是否必选

参数描述

outputTableName

输出表的名称

inputPartitions

训练输入表分区。输入表对应的输入分区,选中全表则为None。

inputTableName

输入表的名称

filter

通过where条件实现数据过滤,与SQL类似,例如age>40

说明

仅支持以下操作符:

  • =

  • !=

  • >

  • <

  • >=

  • <=

  • like

  • rlike