智能开放搜索 OpenSearch：下拉提示

下拉提示是搜索服务的基础功能，在用户输入查询词的过程中，智能推荐候选query，提高用户输入效率，帮助用户尽快找到想要的内容。

下拉提示实现了基于用户文档内容的query智能抽取，可以通过中文前缀，拼音全拼，拼音首字母简拼查询以及汉字加拼音，分词后前缀，中文同音别字等查询下拉提示的候选query。

例如：连衣裙长款 这个query，可以通过如下方式查询得到：

• 中文前缀：连, 连衣, …

• 全拼前缀：l, li, lian, lianyi, lianyiqun, …

• 简拼前缀：l, ly, lyq, …

• 汉字加拼音：连yi, 连衣qun, …

• 分词后前缀：长款, 长款连衣, 连衣长, …

• 中文同音别字： 连衣群, 联谊群, …

此外，用户可以通过干预词条对下拉提示的数据进行干预。可以看到下拉提示的多项业务指标，详见下拉提示报表。

数据来源

下拉提示数据主要来源于应用文档。每个下拉提示最多可以从一个应用中选择3个字段作为数据来源。处理时，系统会选取应用中的部分文档（百万级别），对这些文档中被选中的字段按照指定的规则进行处理，生成下拉提示的候选数据。之后再按一定规则保留一定量的数据作为下拉提示候选query。

query生成规则

对于候选query的生成规则，我们针对过去N（默认7天）的历史query，结合该query的词权重，召回结果数，历史搜索次数，近一天查询是否有结果等条件，选出一些热门历史查询词，作为下拉提示的候选词。系统支持两种规则生成候选query：抽取生成和原值保留。

• 抽取生成：使用阿里nlp团队基于海量自然语言训练的分析器，对字段内容进行分词，抽取有意义的term进行组合，得到候选query，这种方式尽量保证生成的候选query能召回对应的文档。

• 原值保留：该规则对字段内容不做分词处理，直接将其作为下拉提示的候选query。但当字段内容超过一定限制（30个字符）时，将截断字段，保留前30个字符的内容作为候选query。这种方式适用于不需要分词的应用字段（店铺名，用户名，歌曲名等）或者用户自己生成候选query，直接原样展示。建议使用内容较短且含义明确的字段。

注意：
抽取的候选query为，过去N天（默认七天）的历史搜索请求和携带raw_query参数的请求。

人工干预

下拉提示支持的干预项包括：

• 对候选query结果进行干预，包括黑名单和白名单。

• 对数据源应用文档设置过滤条件，配置过滤条件后，只会使用符合该过滤条件的应用文档生成下拉提示候选词。

控制台配置如下图所示：

候选query结果干预

黑名单：黑名单中的关键词支持包含匹配，包含黑名单关键词的query将不会出现在下拉提示结果中。因此，当下拉提示结果中出现一些业务上不想要的结果时，可将关键词添加到下拉提示黑名单中，实现对这些结果的屏蔽。

白名单：当白名单中的query满足推荐条件时，将优先在下拉提示中显示。因此，当某些优质query没有被识别出来，或者排序靠后时，可将其加到白名单中，实现更好的下拉提示效果。**黑名单和白名单的具体配置，可点击此处进行查看。

• 为进一步提升下拉提示效果（提升下拉提示引导搜索量、搜索结果点击率等），强烈建议将下拉提示请求与搜索请求关联。关联方法见文尾：下拉提示请求与搜索请求关联部分；

• 选择内容简洁，和文档主题相关的字段；

• 合理使用抽取生成和原值保留规则；

• 查询结果中，suggestions是本次查询的结果，errors表示本次查询是否有错误发生。errors不为空，不代表suggestions为空。因此，解析结果时，需要通过suggestions是否为空来判断是否无数据展示。

1.搜索算法中心—->搜索引导—->下拉提示，点击“创建”：

2.输入“模型名称”、选择“训练字段”及抽取方式、选择是否开启历史搜索词【可选】、输入“过滤条件”【可选】，点击“完成”：

3.在下拉提示列表页，点击“训练模型”，训练已创建的模型：

4.下拉提示模型开启训练后，需要20-30分钟左右的训练时间；

5.下拉提示模型训练完成后，可以进行下拉提示效果测试，图中分别为“抽取”以及“原值保留”的两种抽取方式的效果测试：

原值保留：

抽取：

6.在线查询候选词，见下面Demo。接口详细说明见下拉提示开发指南。

下拉提示列表页介绍

当用户通过开放搜索控制台：搜索算法中心—->搜索引导—->下拉提示，进入下拉提示列表页（如下图）：

列表页中显示下拉提示模型的“模型名称”、“创建时间”、“模型状态”、“近一次训练状态”（包括待训练、训练中、已训练并通过、数据异常四种状态）等信息。操作栏中可对模型进行模型详细查看、训练模型、删除模型等操作。

下拉提示模型详情页介绍

基本信息中主要展示了模型创建时间、模型状态、最后训练开始时间、最新版本状态（如果为数据异常状态，则会在表格后展示“异常报告”悬浮窗）。

配置信息中主要展示了模型配置的训练字段、过滤条件以及黑/白名单、定时训练以及历史搜索词。

数据校验中主要展示模型训练的数据完整度以及完整度等级。

训练历史中主要展示该模型的训练记录。

核心指标数据

可选择不同的时间区间，以表格和折线图的形式展示下拉提示模型的核心指标数据

注意：具体指标含义，可参考下拉提示报表。

API：

GET v3/openapi/suggestions/{suggestion_name}/actions/search?hit=10&query={your_query}&re_search=homonym&user_id=xxx

Java SDK的Maven依赖：

<dependency>
    <groupId>com.aliyun.opensearch</groupId>
    <artifactId>aliyun-sdk-opensearch</artifactId>
    <version>4.0.0</version>
</dependency>

相关链接：版本说明

代码演示：

package com.example.opensearch;

import com.aliyun.opensearch.OpenSearchClient;
import com.aliyun.opensearch.SuggestionClient;
import com.aliyun.opensearch.sdk.generated.OpenSearch;
import com.aliyun.opensearch.sdk.generated.commons.OpenSearchClientException;
import com.aliyun.opensearch.sdk.generated.commons.OpenSearchException;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.nio.charset.Charset;

public class SuggestDemo {
    static private final String accesskey = "填入accesskey信息";
    static private final String secret = "填入secret信息";
    static private final String host = "填入下拉提示关联应用所在区域的host";
    OpenSearch openSearch;
    OpenSearchClient openSearchClient;
    static private final byte hits = 8; //最大返回下拉提示的条数
    static private final String suggestionName = "填入下拉提示名称"; //填入下拉提示名称

    @Before
    public void setUp() {
        //初始化openSearch对象
        openSearch = new OpenSearch(accesskey, secret, host);
        openSearchClient = new OpenSearchClient(openSearch);
    }

    @Test
    public void TestEnv() {
        //查看文件和默认编码格式
        System.out.println(String.format("file.encoding: %s", System.getProperty("file.encoding")));
        System.out.println(String.format("defaultCharset: %s", Charset.defaultCharset().name()));

        //创建下拉提示对象
        SuggestionClient suggestionClient = new SuggestionClient(suggestionName, openSearchClient);
        String query = "填入查询词";
try {
            SuggestParams suggestParams = new SuggestParams();
            suggestParams.setQuery(query); //设置查询词
            suggestParams.setHits(10); //设置最大返回下拉提示的条数
            suggestParams.setUserId("12345678"); //设置user_id
            //“中文同音别字”补全召回功能已默认生效，可以在请求中添加参数re_search进行调整
            //ReSearch.findByValue(1)表示禁用；ReSearch.findByValue(0)或者不传该参数表示开启
            suggestParams.setReSearch(ReSearch.findByValue(1));
            SearchResult result = suggestionClient.execute(suggestParams); 
            System.out.println(result); //打印召回的结果
        } catch (OpenSearchException e) {
            e.printStackTrace();
        } catch (OpenSearchClientException e) {
            e.printStackTrace();
        }
    }

    @After
    public void clean() {
        openSearch.clear();
    }
}

下拉提示的Java SDK的详情可参考：下拉提示demo。

召回结果展示：

{
  "request_id": "159851481919726888064081",
  "searchtime": 0.006246,
  "suggestions": [
    {
      "suggestion": "裙子潮"
    },
    {
      "suggestion": "裙子小个子 连衣裙"
    },
    {
      "suggestion": "裙子 波点连衣裙"
    },
    {
      "suggestion": "裙子 减龄"
    },
    {
      "suggestion": "裙子 波点"
    },
    {
      "suggestion": "裙子小个子"
    },
    {
      "suggestion": "裙子小个子波点"
    }
  ]
}

注意：召回结果返回的requestID，可以用于搜索请求的关联。

将下拉提示请求和搜索请求关联起来后，对业务有如下帮助：

1. 可以统计出一些指标，用于衡量下拉提示对搜索的效果。指标包括：下拉提示引导搜索pv，引导搜索点击率，引导搜索无/少结果率等，更多详细指标见下拉提示报表。

2. 基于关联请求数据，得到下拉提示点击结果等数据，优化下拉提示排序模型，进而提升下拉提示引导搜索的效果。

   关联方法：

   在opensearch app search请求中，如果此次请求是由下拉提示引导的，则在search请求中带上参数from_request_id={from_request_id}其中from_request_id表示：本搜索请求从哪里引导而来，如果当前的query来自下拉提示、热词、底纹等功能的推荐列表，那么请求这个推荐列表的request_id可以赋给这个参数，通过关联这个引导事件，可以计算上游功能的各项指标，衡量使用效果，为优化功能提供依据。搜索处理文档中也有此参数说明。

举例：

通过下拉提示API 查询出来的结果中的requestID是：159851481919726888064081，如下如果想关联搜索请求，可参考：

SearchParams searchParams = new SearchParams(config);
searchParams.setQuery("title:'裙子小个子'"); //通过下拉提示引导的

///添加from_request_id参数
Map<String, String> customParam =new HashMap<>();
customParam.put("from_request_id","159851481919726888064081");
searchParams.setCustomParam(customParam);

//执行查询语句返回数据对象
SearchResult execute = searcherClient.execute(searchParams);
//以字符串返回查询数据
String result = execute.getResult();
System.out.println(result);