AnalyticDB：全文索引的分詞器

分詞器介紹

指定分詞器

文法

FULLTEXT INDEX idx_name(`column_name`) [ WITH ANALYZER analyzer_name ] [ WITH DICT tbl_dict_name];

參數說明

• idx_name：全文索引名稱。

• column_name：全文索引的列。

• WITH ANALYZER analyzer_name：指定分詞器。

• WITH DICT tbl_dict_name：指定自訂字典。AnalyticDB for MySQL支援自訂字典，詳情請參見全文索引的自訂字典。

樣本

CREATE TABLE `tbl_fulltext_demo` (
  `id` int,
  `content` varchar,
  `content_alinlp` varchar,
  `content_ik` varchar,
  `content_standard` varchar,
  `content_ngram` varchar,
  `content_edge_ngram` varchar,
  FULLTEXT INDEX fidx_c(`content`),  // 使用預設分詞器
  FULLTEXT INDEX fidx_alinlp(`content_alinlp`) WITH ANALYZER alinlp,
  FULLTEXT INDEX fidx_ik(`content_ik`) WITH ANALYZER ik,
  FULLTEXT INDEX fidx_standard(`content_standard`) WITH ANALYZER standard,
  FULLTEXT INDEX fidx_ngram(`content_ngram`) WITH ANALYZER ngram,
  FULLTEXT INDEX fidx_edge_ngram(`content_edge_ngram`) WITH ANALYZER edge_ngram,
  PRIMARY KEY (`id`)
) DISTRIBUTED BY HASH(id);                

AliNLP分詞器

AliNLP分詞器是由阿里雲與達摩院自然語言處理平台提供的自然語言分詞工具包，支援通過全文詞典使用實體詞和停用詞。AliNLP分詞器將連續的自然語言文本，切分成語義合理、完整的詞條序列，支援中文、英文、印尼語、馬來語、泰語、越南語、法語和西班牙語等語言。

AliNLP配置項

如何查看和修改分詞器的配置，請參見查看和修改分詞器配置。

分詞效果

預設配置的分詞效果如下：

• 英文文本的分詞效果。

  /*+ mode=two_phase*/ SELECT fulltext_alinlp_test('Hello world');

  返回結果：

  [hello,  , world]

IK分詞器

IK分詞器是一個開源的輕量級中文分詞工具包，支援通過全文詞典使用實體詞和停用詞。

IK配置項

如何查看和修改分詞器的配置，請參見查看和修改分詞器配置。

分詞效果

預設配置的分詞效果如下：

• 英文文本的分詞效果。

  /*+ mode=two_phase*/ SELECT fulltext_ik_test('Hello world');

  返回結果：

  [hello, world, or]

Standard分詞器

Standard分詞器在對文本進行切分時遵循不同的規則，切分英文文本時，先將文本轉換為小寫形式並去除停用詞和標點符號，然後進行切分；切分中文文本時直接按照單字切分。Standard分詞器支援通過全文詞典使用實體詞和停用詞。

Standard配置項

如何查看和修改分詞器的配置，請參見查看和修改分詞器配置。

分詞效果

預設配置的分詞效果如下：

• 英文文本的分詞效果。

  /*+ mode=two_phase*/ SELECT fulltext_standard_test('Hello world');

  返回結果：

  [hello, world]

Ngram分詞器

Ngram分詞器根據配置項FULLTEXT_NGRAM_TOKEN_SIZE的取值切分文本，支援通過全文詞典使用實體詞和停用詞。使用Ngram分詞器可以提升模糊檢索的查詢效率。

Ngram配置項

如何查看和修改分詞器的配置，請參見查看和修改分詞器配置。

分詞效果

預設配置的分詞效果如下：

• 英文文本的分詞效果。

  /*+ mode=two_phase*/ SELECT fulltext_ngram_test('Hello world');

  返回結果：

  [he, el, ll, lo, o ,  w, wo, or, rl, ld]

Edge_ngram分詞器

Edge_ngram分詞器使用了與Ngram分詞器一樣的分詞方法。Edge_ngram主要應用於首碼分詞和匹配的情境，支援通過全文詞典使用實體詞和停用詞。

Edge_ngram配置項

如何查看和修改分詞器的配置，請參見查看和修改分詞器配置。

分詞效果

預設配置的分詞效果如下：

• 英文文本的分詞效果。

  /*+ mode=two_phase*/ SELECT fulltext_edge_ngram_test('Hello world');

  返回結果：

  [h, he]

Pattern分詞器

Pattern分詞器按Regex切分文本，不支援通過全文詞典使用實體詞、停用詞和通過SQL語句查詢分詞效果。

文法

FULLTEXT INDEX fidx_name(`column_name`) WITH ANALYZER pattern_tokenizer("Custom_rule") [ WITH DICT `tbl_dict_name` ];

參數說明

Custom_rule：Regex。

樣本

• 指定以-作為切分文本的規則，將“商品的使用者價值-和使用價值”"hello-world"切分為[商品的使用者價值，和使用價值][hello, world]。

  FULLTEXT INDEX fidx_pattern(`content_pattern`) WITH ANALYZER pattern_tokenizer("-");

• 指定以/作為切分文本的規則，將“商品的/使用者價值/和/使用價值”"he/llo/wo/rld"切分為[商品的，使用者價值，和，使用價值][he, llo, wo, rld]。

  FULLTEXT INDEX fidx_pattern(`content_pattern`) WITH ANALYZER pattern_tokenizer("/");

Pattern配置項

如何查看和修改分詞器的配置，請參見查看和修改分詞器配置。

查看和修改分詞器配置

AnalyticDB for MySQL支援查看和修改分詞器的配置。

查看配置

• 使用show adb_config查詢配置項。

  文法

  show adb_config key <analyzer_param>;

  參數說明

  analyzer_param：配置項名稱。

  樣本

  show adb_config key FULLTEXT_NGRAM_TOKEN_SIZE;

  說明

  show adb_config命令可以查詢預設配置項和修改後的配置項。

• 使用SELECT查詢配置項。

  文法

  SELECT `key`, `value`, `update_time`
  FROM INFORMATION_SCHEMA.kepler_meta_configs
  WHERE key = '<analyzer_param>';

  參數說明

  analyzer_param：配置項名稱。

  樣本

  SELECT `key`, `value`, `update_time`
  FROM INFORMATION_SCHEMA.kepler_meta_configs
  WHERE key = 'FULLTEXT_NGRAM_TOKEN_SIZE';

  說明

  SELECT語句只能查詢修改後的配置項，如果查詢預設的配置項，查詢結果為空白。

修改配置

文法

set adb_config <analyzer_param>=<value>;

參數說明

• analyzer_param：配置項的名稱。

• value：配置項的取值。

樣本

set adb_config FULLTEXT_NGRAM_TOKEN_SIZE=3;