:シノニムの設定

PUT /test_index
{    
    "settings": {        
        "index" : {            
            "analysis" : {                
                "analyzer" : {                    
                    "synonym" : {                        
                        "tokenizer" : "whitespace",                       
                        "filter" : ["synonym"]                    
                        }               
                   },                
                   "filter" : {                    
                        "synonym" : {                       
                             "type" : "synonym",                        
                              "synonyms_path" : "analysis/synonym.txt",                                          
                              "tokenizer" : "whitespace"                    
                          }               
                       }            
                    }        
                  }    
          }
}

• Solr シノニム
  次の例は、Solr シノニムファイルの形式を示しています。

  # Blank lines and lines starting with pound are comments.
  # Explicit mappings match any token sequence on the LHS of "=>"
  # and replace with all alternatives on the RHS.  These types of mappings
  # ignore the expand parameter in the schema.
  # Examples:
  i-pod, i pod => ipod,
  sea biscuit, sea biscit => seabiscuit
  # Equivalent synonyms may be separated with commas and give
  # no explicit mapping.  In this case the mapping behavior will
  # be taken from the expand parameter in the schema.  This allows
  # the same synonym file to be used in different synonym handling strategies.
  # Examples:
  ipod, i-pod, i pod
  foozball , foosball
  universe , cosmos
  lol, laughing out loud
  # If expand==true, "ipod, i-pod, i pod" is equivalent
  # to the explicit mapping:
  ipod, i-pod, i pod => ipod, i-pod, i pod
  # If expand==false, "ipod, i-pod, i pod" is equivalent
  # to the explicit mapping:
  ipod, i-pod, i pod => ipod
  # Multiple synonym mapping entries are merged.
  foo => foo bar
  foo => baz
  # is equivalent to
  foo => foo bar, baz

  設定ファイルでフィルターのシノニムを直接定義することもできますが、synonyms_path ではなく、synonyms を使用する必要があります 。 サンプルコードは次のとおりです。

  PUT /test_index
  {
      "settings": {
          "index" : {
              "analysis" : {
                  "filter" : {
                      "synonym" : {
                          "type" : "synonym",
                          "synonyms" : [
                              "i-pod, i pod => ipod",
                              "begin, start"
                          ]
                      }
                  }
              }
          }
      }
  }

  注 ファイルに大きなシノニムセットを定義するには、synonyms_path の使用を推奨します。 synonyms を使用して大きなシノニムセットを定義すると、クラスターのサイズが大きくなります。
• WordNet シノニム
  次の例は、WordNet シノニムファイルの形式を示しています。

  PUT /test_index
  {
      "settings": {
          "index" : {
              "analysis" : {
                  "filter" : {
                      "synonym" : {
                          "type" : "synonym",
                          "format" : "wordnet",
                          "synonyms" : [
                              "s(100000001,1,'abstain',v,1,0).",
                              "s(100000001,2,'refrain',v,1,0).",
                              "s(100000001,3,'desist',v,1,0)."
                          ]
                      }
                  }
              }
          }
      }
  }

  この例では、synonyms を使用して、WordNet シノニムを定義しています。 synonyms_path を使用して、WordNet シノニムを定義することもできます。

1. Kibana コンソールへのログイン。[コンソール] タブで、 次のリクエストを送信します。

   PUT /my_index
   {
    "settings": {
        "analysis": {
            "analyzer": {
                "my_synonyms": {
                    "filter": [
                        "lowercase",
                        "my_synonym_filter"
                    ],
                    "tokenizer": "ik_smart"
                }
            },
            "filter": {
                "my_synonym_filter": {
                    "synonyms": [
                        "begin,start"
                    ],
                    "type": "synonym"
                }
            }
        }
    }
   }

   このリクエストは、次のタスクを完了するために送信されます。

   1. シノニムフィルター my_synonym_filter とシノニム辞書を設定します。
   2. my_synonyms アナライザーを作成し、IK トークナイザー ik_smart を使用してクエリ文字列をトークン化します。
   3. ik_smart トークナイザーは、すべてのトークンを小文字に変更し、シノニム辞書とトークンを照合します。
2. 次のリクエストを送信して、シノニムフィールド title を設定します。

   PUT /my_index/_mapping/doc
   {
   "properties": {
    "title": {
      "type": "text",
      "analyzer": "my_synonyms"
    }
   }
   }

3. 次のリクエストを送信して、シノニムを確認します。

   GET /my_index/_analyze
   {
    "analyzer":"my_synonyms",
    "text":"Shall I begin?"
   }

   リクエストが成功した場合、次の結果が返されます。

   {
   "tokens": [
    {
      "token": "shall",
      "start_offset": 0,
      "end_offset": 5,
      "type": "ENGLISH",
      "position": 0
    },
    {
      "token": "i",
      "start_offset": 6,
      "end_offset": 7,
      "type": "ENGLISH",
      "position": 1
    },
    {
      "token": "begin",
      "start_offset": 8,
      "end_offset": 13,
      "type": "ENGLISH",
      "position": 2
    },
    {
      "token": "start",
      "start_offset": 8,
      "end_offset": 13,
      "type": "SYNONYM",
      "position": 2
    }
   ]
   }

4. 次のリクエストを送信して、さらにテストするためのデータを追加します。

   PUT /my_index/doc/1
   {
   "title": "Shall I begin?"
   }

   PUT /my_index/doc/2
   {
   "title": "I start work at nine."
   }

5. 次のリクエストを送信して、検索テストを実行します。

   GET /my_index/_search
   {
   "query" : { "match" : { "title" : "begin" }},
   "highlight" : {
     "pre_tags" : ["<red>", "<bule>"],
     "post_tags" : ["</red>", "</bule>"],
     "fields" : {
         "title" : {}
     }
   }
   }

   リクエストが成功した場合、次の結果が返されます。

   {
   "took": 11,
   "timed_out": false,
   "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
   },
   "hits": {
    "total": 2,
    "max_score": 0.41913947,
    "hits": [
      {
        "_index": "my_index",
        "_type": "doc",
        "_id": "2",
        "_score": 0.41913947,
        "_source": {
          "title": "I start work at nine."
        },
        "highlight": {
          "title": [
            "I <red>start</red> work at nine."
          ]
        }
      },
      {
        "_index": "my_index",
        "_type": "doc",
        "_id": "1",
        "_score": 0.39556286,
        "_source": {
          "title": "Shall I begin?"
        },
        "highlight": {
          "title": [
            "Shall I <red>begin</red>?"
          ]
        }
      }
    ]
   }
   }