全部产品
Search
文档中心

智能开放搜索 OpenSearch:scroll迭代查询Demo

更新时间:Jul 11, 2023

配置环境变量

配置环境变量ALIBABA_CLOUD_ACCESS_KEY_IDALIBABA_CLOUD_ACCESS_KEY_SECRET

重要
  • 阿里云账号AccessKey拥有所有API的访问权限,建议您使用RAM用户进行API访问或日常运维,具体操作,请参见创建RAM用户

  • 创建AccessKey ID和AccessKey Secret,请参考创建AccessKey

  • 如果您使用的是RAM用户的AccessKey,请确保主账号已授权AliyunServiceRoleForOpenSearch服务关联角色,请参考OpenSearch-行业算法版服务关联角色,相关文档参考访问鉴权规则

  • 请不要将AccessKey ID和AccessKey Secret保存到工程代码里,否则可能导致AccessKey泄露,威胁您账号下所有资源的安全。

  • LinuxmacOS系统配置方法:

    执行以下命令,其中, <access_key_id>需替换为您RAM用户的AccessKey ID,<access_key_secret>替换为您RAM用户的AccessKey Secret。

    export ALIBABA_CLOUD_ACCESS_KEY_ID=<access_key_id> 
    export ALIBABA_CLOUD_ACCESS_KEY_SECRET=<access_key_secret>
  • Windows系统配置方法

    1. 新建环境变量文件,添加环境变量ALIBABA_CLOUD_ACCESS_KEY_IDALIBABA_CLOUD_ACCESS_KEY_SECRET,并写入已准备好的AccessKey ID和AccessKey Secret。

    2. 重启Windows系统生效。

V4.0.0 SDK Scroll迭代方式搜索文档样例代码

该Scroll迭代方式,省去了反复设置scrollID的操作。(scroll查询方法,目前不支持Aggregate,Distinct,Rank子句,仅支持单字段sort。)

搜索报错判断:用户需按code和message,进行异常情况判断,不要按status进行判断。code对应的错误信息查看——错误码文档

SDK样例Demo:

package com.aliyun.opensearch;

import com.aliyun.opensearch.sdk.dependencies.com.google.common.collect.Lists;
import com.aliyun.opensearch.sdk.generated.OpenSearch;
import com.aliyun.opensearch.sdk.generated.search.*;
import com.aliyun.opensearch.search.DeepPageingIterator;
import java.nio.charset.Charset;

public class testScrollIterator {

    //Scroll不支持Aggregate,Distinct,Rank子句;支持单字段sort
    private static String appName = "替换为opensearch应用名";
    private static String tableName = "替换opensearch应用表名";
    private static String host = "替换应用的API访问地址";


    public static void main(String[] args) {
      
      	//用户识别信息
      	//从环境变量读取配置的AccessKey ID和AccessKey Secret,运行代码示例前必须先配置环境变量
        String accesskey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
        String secret = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");

        //查看文件和默认编码格式
        System.out.println(String.format("file.encoding: %s", System.getProperty("file.encoding")));
        System.out.println(String.format("defaultCharset: %s", Charset.defaultCharset().name()));


        //创建并构造OpenSearch对象
        OpenSearch openSearch = new OpenSearch(accesskey, secret, host);

        //创建OpenSearchClient对象,并以OpenSearch对象作为构造参数
        OpenSearchClient serviceClient = new OpenSearchClient(openSearch);

        //创建SearcherClient对象,并以OpenSearchClient对象作为构造参数
        SearcherClient searcherClient = new SearcherClient(serviceClient);

        //定义Config对象,用于设定config子句参数,分页,数据返回格式,应用名等等
        Config config = new Config(Lists.newArrayList(appName));

        //config.setStart(start) scroll该参数不起作用,默认为0
        config.setHits(5);//设置每页为5条记录

        //设置返回格式为FULLJSON,目前scroll只支持返回JSON和FULLJSON格式
        config.setSearchFormat(SearchFormat.FULLJSON);

        // 设置搜索结果返回应用中哪些字段
        config.setFetchFields(Lists.newArrayList("id", "name", "phone", "int_arr", "literal_arr", "float_arr", "cate_id"));
        // 注意:config子句中的rerank_size参数,在Rank类对象中设置

        // 创建参数对象
        SearchParams searchParams = new SearchParams(config);

        // 设置查询子句,若需多个索引组合查询,需要setQuery处合并,否则若设置多个setQuery后面的会替换前面查询
        searchParams.setQuery("name:'opensearch'");

        // 设置查询过滤条件
        //searchParams.setFilter("cate_id<=3"); //此处也可改用后面的ParamsBuilder实现添加过滤条件

       	// 设置sort条件
        Sort sorter = new Sort();
        sorter.addToSortFields(new SortField("id", Order.DECREASE)); //设置id字段降序
 
         //添加Sort对象参数
        searchParams.setSort(sorter);     
      
        //设置scroll方式查询
        DeepPaging deep =new DeepPaging();

        //添加DeepPaging对象参数
        searchParams.setDeepPaging(deep);

        //使用DeepPageingIterator迭代操作起来会方便很多,可以不用管scroll_id之类的东西.
        DeepPageingIterator pagesIterator = new DeepPageingIterator(searcherClient, searchParams);

        //迭代器默认的迭代间隔是100毫秒. 此设计是为防止翻页速度太快对我们这边造成压力. 当然可以改变这个迭代间隔,如下所示.
        //pagesIterator.setPagingIntervals(80);//单位:ms

        //用户需按errors中的code和message进行异常情况判断,不要按status进行判断。code对应的错误信息查看——错误码文档。
        try{

            System.out.println("test");
            while (pagesIterator.hasNext()) {
                System.out.println("调试信息输出:"+pagesIterator.next());
            }

        }catch(Exception ex){
            System.out.println("调试报错信息:"+ex.getMessage());
        }

    }
}