为Text类型的字段设置分词类型后，系统会根据设定的分词类型将可分词的内容分成多个词。非Text类型的字段不能设置分词类型。TEXT类型的字段不支持排序和统计聚合。如果Text类型的字段同时需要进行排序或统计聚合，可以通过虚拟列为Keyword类型实现。
背景信息
对于Text类型字段，常用于匹配查询（MatchQuery）和短语匹配查询（MatchPhraseQuery），少部分场景也会用到精确查询（TermQuery）、多词精确查询（TermsQuery）、前缀查询（PrefixQuery）、通配符查询（WildcardQuery）等。
分词类型
目前支持单字分词、分隔符分词、最小数量语义分词、最大数量语义分词和模糊分词5种分词类型。
单字分词（SingleWord）
单字分词适用于汉语、英语、日语等所有语言文字。Text类型字段的默认分词类型为单字分词。
设置分词类型为单字分词后，具体的分词方式如下：
汉语会按照“字”切分。例如“杭州”会切分成“杭”和“州”，通过MatchQuery或MatchPhraseQuery查询“杭”可以查询到含有“杭州”内容的数据。
英文字母或数字会按照空格或标点符号切分。
当
caseSensitive为false时，不区分大小写，表格存储会将分词后的英文字母全部转换为小写字母进行存储。例如“Hang Zhou”会切分成“hang”和“zhou”，通过MatchQuery或MatchPhraseQuery查询“hang”或“HANG”或“Hang”都能查询到该行数据。
当
caseSensitive为true时，区分大小写，表格存储会将分词后的英文字母区分大小写进行存储。例如“Hang Zhou”会切分成“Hang”和“Zhou”，通过MatchQuery或MatchPhraseQuery查询“Hang”或“Zhou”都能查询到该行数据。
对于数字和英文字母连接在一起的词，例如商品型号等，也会按照空格或标点符号切分，但是默认情况下数字和英文不会拆分开。例如“iphone6”会拆分成“iphone6”，通过MatchQuery或MatchPhraseQuery查询时，只有指定完整“iphone6”才能查询到，使用“iphone”查询不到。
如果需要将数字和英文拆分开，您可以设置delimitWord参数为true。此时“iphone6”会拆分成“iphone”和“6”，通过MatchQuery或MatchPhraseQuery查询“iphone”和“6”都能查询到该行数据。
单字分词的参数说明请参见下表。
参数 | 说明 |
caseSensitive | 是否大小写敏感。默认值是false，此时所有英文字母会转换为小写。 如果不需要系统自动将英文字母转换为小写字母，需要保持大小写敏感，可以设置caseSensitive为true。 |
delimitWord | 对于英文和数字连接在一起的单词，是否分割英文和数字。默认值是false，表示数字和英文不会拆分开。 如果需要将数字和英文拆分开，您可以设置delimitWord参数为true，此时“iphone6”会被拆分成“iphone”和“6”。 |
分隔符分词（Split）
表格存储提供了基于通用词典的分词，但是有些特殊行业需要一些自定义的辞典做分词，为了解决此问题，表格存储提供了分隔符分词，也叫做自定义分词，用户先按照自己的方式分词，再按照特定的分隔符进行分隔后写入表格存储。
分隔符分词适用于汉语、英语、日语等所有语言文字。
为Text类型字段配置了分隔符分词后，会按照分隔符delimiter指定值切分字段值。例如字段值为“羽毛球,乒乓球,说唱”，分隔符delimeter为英文逗号（,），则会切分为“羽毛球”、“乒乓球”和“说唱”并建立索引，通过MatchQuery或MatchPhraseQuery查询“羽毛球”、“乒乓球”、“说唱”或“羽毛球,乒乓球”均可以查询到该行数据。
分隔符分词的参数说明请参见下表。
参数 | 说明 |
caseSensitive | 是否大小写敏感。默认是false，此时所有英文字母会转换为小写。 如果不需要系统自动将英文字母转换为小写字母，需要保持大小写敏感，可以设置caseSensitive为true。 重要 从表格存储Java SDK5.17.2版本开始支持此配置。 |
delimiter | 分隔符，默认是空白字符，可以自定义分隔符。
|
最小数量语义分词（MinWord）
最小数量语义分词适用于汉语，一般应用于全文检索场景。
设置分词类型为最小数量语义分词后，系统按照语义对Text字段内容分词时，会将Text字段内容切分成最小数量的语义词。
最大数量语义分词（MaxWord）
最大数量语义分词适用于汉语，一般应用于全文检索场景。
设置分词类型为最大数量语义分词后，系统会尽量多的分出语义词，不同语义词之间会有重叠，总长度累加后会大于原文长度，索引大小也会膨胀。
此种分词类型的分词后结果更多，查询时命中的概率更大，但是索引大小会有比较大的膨胀。适合使用MatchQuery而非MatchPhraseQuery查询，如果使用MatchPhraseQuery查询，由于查询关键词中也会按照同样的方式分词，那么位置信息会重叠，就有可能导致搜索不到。
模糊分词（Fuzzy）
模糊分词适用于汉语、英语、日语等所有语言文字，一般应用于文本内容较短场景，例如标题、电影名称、书名、文件名、目录名等。
模糊分词可用于以很低的延迟返回结果，比WildcardQuery性能更好，但是索引大小会有一定膨胀。
设置分词类型为模糊分词后，系统对文本内容进行Ngram分词，结果介于minChars和maxChars之间。例如用在下拉提示等功能中。
要实现模糊查询时，您必须在进行模糊分词的列上使用MatchPhraseQuery，而不能使用其他Query。如果对该列有多种查询需求，请使用虚拟列功能。关于虚拟列的具体操作，请参见虚拟列。
限制
当Text字段的分词类型为模糊分词时，长度不能超过1024字符。如果超过长度限制，系统会将超过的字符截断丢弃，只保留前1024个字符。
为了防止索引数据量过度膨胀，最大和最小字符切分单元的差值（maxChars-minChars）不能超过15。
参数
参数
说明
minChars
最小字符切分单元，即切分的字符组合中字符数量必须大于等于此值，默认值为1。
maxChars
最大字符切分单元，即切分的字符组合中字符数量必须小于等于此值，默认值为7。
caseSensitive
是否大小写敏感。默认是false，此时所有英文字母会转换为小写。
如果不需要系统自动将英文字母转换为小写字母，需要保持大小写敏感，可以设置caseSensitive为true。
重要从表格存储Java SDK5.17.2版本开始支持此配置。
分词类型对比
从几个关键维度对不同分词的比较信息请参见下表。
对比项 | 单字分词 | 分隔符分词 | 最小数量语义分词 | 最大数量语义分词 | 模糊分词 |
索引膨胀 | 小 | 小 | 小 | 中 | 大 |
相关性影响 | 弱 | 弱 | 中 | 较强 | 较强 |
适用语言 | 所有 | 所有 | 汉语 | 汉语 | 所有 |
长度限制 | 无 | 无 | 无 | 无 | 1024字符 |
召回率 | 高 | 低 | 低 | 中 | 高 |