TF-IDF(Term Frequency-Inverse Document Frequency)是一种用于资讯检索与文本挖掘的常用加权技术。通常在搜索引擎中应用,可以作为文件与用户查询之间相关程度的度量或评级。
TF词频(Term Frequency)是指某一个给定的词语在该文件中出现的次数。IDF反文档频率(Inverse Document Frequency)是指如果包含词条的文档越少,IDF越大,则说明词条的类别区分能力越强。
TF-IDF是一种统计方法,用于评估字词或文件的重要程度。例如:
在文件集中的字词会随着出现次数的增加呈正比增加趋势。
在语料库中的文件会随着出现频率的增加呈反比下降趋势。
TF-IDF组件基于词频统计算法的输出结果(而不是基于原始文档),计算各词语对于各文章的TF-IDF值。
使用说明
由于TF-IDF组件是基于词频统计算法的输出结果,因此TF-IDF组件需要接入到词频统计组件的下游。
组件配置
您可以使用以下任意一种方式,配置TF-IDF组件参数。
方式一:可视化方式
在Designer工作流页面配置组件参数。
页签 | 参数 | 描述 |
字段设置 | 选择文档ID列 | 您可以直接选择词频统计组件输出的文档ID列(id列)或自行将原始文档处理为相应格式,详情请参见词频统计示例部分的输出介绍。 |
选择单词列 | 您可以直接选择词频统计组件输出的单词列(word列)或自行将原始文档处理为相应格式,详情请参见词频统计示例部分的输出介绍。 | |
选择单词计数列 | 您可以直接选择词频统计组件输出的单词计数列(count列)或自行将原始文档处理为相应格式,详情请参见词频统计示例部分的输出介绍。 | |
执行调优 | 计算核心数 | 节点个数,默认自动计算。 |
每个核心内存 | 单个节点内存大小,单位为MB。 |
方式二:PAI命令方式
使用PAI命令方式,配置该组件参数。您可以使用SQL脚本组件进行PAI命令调用,详情请参见SQL脚本。
PAI -name tfidf
-project algo_public
-DinputTableName=rgdoc_split_triple_out
-DdocIdCol=id
-DwordCol=word
-DcountCol=count
-DoutputTableName=rg_tfidf_out;
参数名称 | 是否必选 | 描述 | 默认值 |
inputTableName | 是 | 输入表名称。 | 无 |
inputTablePartitions | 否 | 输入表中,参与训练的分区。 格式为 | 输入表的所有分区 |
docIdCol | 是 | 标识文章ID的列名,仅可指定一列。 | 无 |
wordCol | 是 | Word列名,仅可指定一列。 | 无 |
countCol | 是 | Count列名,仅可指定一列。 | 无 |
outputTableName | 是 | 输出表名称。 | 无 |
lifecycle | 否 | 输出表生命周期。正整数。单位:天 | 无 |
coreNum | 否 | 核心数,与memSizePerCore同时设置才生效。 | 自动计算 |
memSizePerCore | 否 | 内存数,与coreNum同时设置才生效。 | 自动计算 |