全部產品
Search
文件中心

OpenSearch:scroll迭代查詢Demo

更新時間:Jul 13, 2024

配置環境變數

配置環境變數ALIBABA_CLOUD_ACCESS_KEY_IDALIBABA_CLOUD_ACCESS_KEY_SECRET

重要
  • 阿里雲帳號AccessKey擁有所有API的存取權限,建議您使用RAM使用者進行API訪問或日常營運,具體操作,請參見建立RAM使用者

  • 建立AccessKey ID和AccessKey Secret,請參考建立AccessKey

  • 如果您使用的是RAM使用者的AccessKey,請確保主帳號已授權AliyunServiceRoleForOpenSearch服務關聯角色,請參考OpenSearch-行業演算法版服務關聯角色,相關文檔參考訪問鑒權規則

  • 請不要將AccessKey ID和AccessKey Secret儲存到工程代碼裡,否則可能導致AccessKey泄露,威脅您帳號下所有資源的安全。

  • LinuxmacOS系統配置方法:

    執行以下命令,其中, <access_key_id>需替換為您RAM使用者的AccessKey ID,<access_key_secret>替換為您RAM使用者的AccessKey Secret。

    export ALIBABA_CLOUD_ACCESS_KEY_ID=<access_key_id> 
    export ALIBABA_CLOUD_ACCESS_KEY_SECRET=<access_key_secret>
  • Windows系統配置方法

    1. 建立環境變數檔案,添加環境變數ALIBABA_CLOUD_ACCESS_KEY_IDALIBABA_CLOUD_ACCESS_KEY_SECRET,並寫入已準備好的AccessKey ID和AccessKey Secret。

    2. 重啟Windows系統生效。

V4.0.0 SDK Scroll迭代方式搜尋文檔範例代碼

該Scroll迭代方式,省去了反覆設定scrollID的操作。(scroll查詢方法,目前不支援Aggregate,Distinct,Rank子句,僅支援單欄位sort。)

搜尋報錯判斷:使用者需按code和message,進行異常情況判斷,不要按status進行判斷。code對應的錯誤資訊查看——錯誤碼文檔

SDK範例Demo:

package com.aliyun.opensearch;

import com.aliyun.opensearch.sdk.dependencies.com.google.common.collect.Lists;
import com.aliyun.opensearch.sdk.generated.OpenSearch;
import com.aliyun.opensearch.sdk.generated.search.*;
import com.aliyun.opensearch.search.DeepPageingIterator;
import java.nio.charset.Charset;

public class testScrollIterator {

    //Scroll不支援Aggregate,Distinct,Rank子句;支援單欄位sort
    private static String appName = "替換為opensearch應用程式名稱";
    private static String tableName = "替換opensearch應用表名";
    private static String host = "替換應用的API訪問地址";


    public static void main(String[] args) {
      
      	//使用者識別資訊
      	//從環境變數讀取配置的AccessKey ID和AccessKey Secret,運行程式碼範例前必須先配置環境變數
        String accesskey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
        String secret = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");

        //查看檔案和預設編碼格式
        System.out.println(String.format("file.encoding: %s", System.getProperty("file.encoding")));
        System.out.println(String.format("defaultCharset: %s", Charset.defaultCharset().name()));


        //建立並構造OpenSearch對象
        OpenSearch openSearch = new OpenSearch(accesskey, secret, host);

        //建立OpenSearchClient對象,並以OpenSearch對象作為構造參數
        OpenSearchClient serviceClient = new OpenSearchClient(openSearch);

        //建立SearcherClient對象,並以OpenSearchClient對象作為構造參數
        SearcherClient searcherClient = new SearcherClient(serviceClient);

        //定義Config對象,用於設定config子句參數,分頁,資料返回格式,應用程式名稱等等
        Config config = new Config(Lists.newArrayList(appName));

        //config.setStart(start) scroll該參數不起作用,預設為0
        config.setHits(5);//設定每頁為5條記錄

        //設定返回格式為FULLJSON,目前scroll只支援返回JSON和FULLJSON格式
        config.setSearchFormat(SearchFormat.FULLJSON);

        // 設定搜尋結果返回應用中哪些欄位
        config.setFetchFields(Lists.newArrayList("id", "name", "phone", "int_arr", "literal_arr", "float_arr", "cate_id"));
        // 注意:config子句中的rerank_size參數,在Rank類對象中設定

        // 建立參數對象
        SearchParams searchParams = new SearchParams(config);

        // 設定查詢子句,若需多個索引組合查詢,需要setQuery處合并,否則若設定多個setQuery後面的會替換前面查詢
        searchParams.setQuery("name:'opensearch'");

        // 設定查詢過濾條件
        //searchParams.setFilter("cate_id<=3"); //此處也可改用後面的ParamsBuilder實現添加過濾條件

       	// 設定sort條件
        Sort sorter = new Sort();
        sorter.addToSortFields(new SortField("id", Order.DECREASE)); //設定id欄位降序
 
         //添加Sort對象參數
        searchParams.setSort(sorter);     
      
        //設定scroll方式查詢
        DeepPaging deep =new DeepPaging();

        //添加DeepPaging對象參數
        searchParams.setDeepPaging(deep);

        //使用DeepPageingIterator迭代操作起來會方便很多,可以不用管scroll_id之類的東西.
        DeepPageingIterator pagesIterator = new DeepPageingIterator(searcherClient, searchParams);

        //迭代器預設的迭代間隔是100毫秒. 此設計是為防止翻頁速度太快對我們這邊造成壓力. 當然可以改變這個迭代間隔,如下所示.
        //pagesIterator.setPagingIntervals(80);//單位:ms

        //使用者需按errors中的code和message進行異常情況判斷,不要按status進行判斷。code對應的錯誤資訊查看——錯誤碼文檔。
        try{

            System.out.println("test");
            while (pagesIterator.hasNext()) {
                System.out.println("調試資訊輸出:"+pagesIterator.next());
            }

        }catch(Exception ex){
            System.out.println("調試報錯資訊:"+ex.getMessage());
        }

    }
}