Tablestore:トークン化

背景情報

ほとんどの場合、一致クエリ (MatchQuery) と一致フレーズクエリ (MatchPhraseQuery) を使用して、TEXT 型のフィールドをクエリできます。また、ビジネス要件に基づいて、用語クエリ (TermQuery)、用語クエリ (TermsQuery)、プレフィックスクエリ (PrefixQuery)、およびワイルドカードクエリ (WildcardQuery) を使用して、TEXT 型のフィールドをクエリすることもできます。

トークン化方法

次のトークン化方法がサポートされています。単一単語トークン化、区切り文字トークン化、最小意味単位ベースのトークン化、最大意味単位ベースのトークン化、およびあいまいトークン化。

単一単語トークン化 (SingleWord)

このトークン化方法は、中国語、英語、日本語などのすべての自然言語に適用されます。デフォルトでは、TEXT フィールドのトークン化方法は単一単語トークン化です。

区切り文字トークン化 (Split)

Tablestore は、一般的な辞書ベースのトークン化を提供します。ただし、特定の業界では、トークン化にカスタム辞書が必要です。この要件を満たすために、Tablestore は区切り文字トークン化を提供します。カスタムメソッドを使用してトークン化を実行し、区切り文字トークン化を使用してから、データを Tablestore に書き込むことができます。

区切り文字トークン化は、中国語、英語、日本語などのすべての自然言語に適用されます。

TEXT フィールドに区切り文字トークン化を指定すると、Tablestore は指定された区切り文字に基づいてフィールド値をトークン化します。たとえば、フィールド値が「badminton,ping pong,rap」で、区切り文字パラメーターをカンマ (,) に設定すると、値は「badminton」、「ping pong」、および「rap」にトークン化され、フィールドはインデックス化されます。一致クエリ (MatchQuery) または一致フレーズクエリ (MatchPhraseQuery) を使用して「badminton」、「ping pong」、「rap」、または「badminton,ping pong」をクエリすると、行を取得できます。

最小意味単位ベースのトークン化 (MinWord)

このトークン化方法は、全文検索シナリオの中国語に適用されます。

TEXT フィールドのトークン化方法として最小意味単位ベースのトークン化を指定すると、Tablestore はクエリを実行するときに TEXT フィールドの値を最小数の意味単位にトークン化します。

最大意味単位ベースのトークン化 (MaxWord)

このトークン化方法は、全文検索シナリオの中国語に適用されます。

TEXT フィールドのトークン化方法として最大意味単位ベースのトークン化を指定すると、Tablestore はクエリを実行するときに TEXT フィールドの値を最大数の意味単位にトークン化します。ただし、異なる意味単位に同じ文字が含まれている場合があります。トークンの全長は元のテキストの長さよりも長くなります。その結果、インデックスのデータ量が増加します。

このトークン化方法は、より多くのトークンを生成し、行が一致する確率を高めることができます。ただし、インデックスサイズが大幅に増加します。最大意味単位ベースのトークン化をトークン化方法として指定する場合は、一致フレーズクエリ (MatchPhraseQuery) を使用できます。一致クエリ (MatchQuery) は、このトークン化方法により適しています。このトークン化方法と一致フレーズクエリを一緒に使用すると、キーワードも最大意味単位ベースのトークン化に基づいてトークン化されるため、トークンの重複によりデータが取得されない可能性があります。

あいまいトークン化

このトークン化方式は、タイトル、映画名、書籍名、ファイル名、ディレクトリ名など、短文コンテンツを含むシナリオにおいて、中国語、英語、日本語など、すべての自然言語に適用されます。

あいまいトークン化と一致フレーズクエリを組み合わせて使用​​すると、低レイテンシでクエリ結果を返すことができます。あいまいトークン化と一致フレーズクエリの組み合わせは、ワイルドカードクエリ (WildcardQuery) よりも優れています。ただし、インデックスサイズが大幅に増加します。

TEXTフィールドのトークン化方法としてファジートークン化を指定すると、Tablestoreはn-gramを使用してトークン化を実行します。トークン内の文字数は、minCharsパラメーターの値からmaxCharsパラメーターの値までの範囲になります。たとえば、このトークン化方法は、ドロップダウンリストへの入力に使用されます。

• 制限

  • 長さが 1,024 文字以下の TEXT フィールド値をトークン化するために、ファジートークン化を使用できます。TEXT フィールド値の長さが 1,024 文字を超える場合、Tablestore は超過文字を切り捨てて破棄し、最初の 1,024 文字のみをトークン化します。

  • インデックスデータの過剰な増加を防ぐため、maxChars パラメーターと minChars パラメーターの値の差は 6 を超えてはなりません。

• パラメーター

  パラメーター	説明
  minChars	トークンの最小文字数。デフォルト値: 1。
  maxChars	トークンの最大文字数。デフォルト値: 7。
  caseSensitive	大文字と小文字を区別するかどうかを指定します。デフォルト値: false。このパラメーターを false に設定すると、すべての文字が小文字に変換されます。 Tablestore で文字を小文字に変換したくない場合は、このパラメーターを true に設定します。 重要 Tablestore SDK for Java V5.17.2 以降では、このパラメーターがサポートされています。

比較