資料擷取2.0SDK有哪些功能 - OpenSearch

資料擷取SDK

SDK功能簡介

資料擷取文檔推送類。

管理搜尋應用的資料擷取文檔推送，包含單條推送文檔、批量推送文檔等。

Java SDK 版本說明

PHP SDK 相關下載

Python SDK 行為資料推送Demo

Go SDK 行為資料推送Demo

C# SDK 行為資料推送Demo

類名：DataCollectionClient
命名空間：OpenSearch\Client

介面描述

構造方法。

介面定義

voidOpenSearch\Client\DataCollectionClient::__construct(\OpenSearch\Client\OpenSearchClient $openSearchClient)

參數描述

參數名稱	類型	描述
$openSearchClient	OpenSearch\Client\OpenSearchClient	基礎類，負責計算簽名，和服務端進行互動和返回結果。

add

介面描述

增加一條文檔。

說明

Note: 這條文檔只是增加到 SDK Client buffer 中，沒有正式提交到服務端；只有調用了 commit 方法才會被提交到服務端。你可以多次 add 然後調用 commit() 統一提交。

介面定義

\OpenSearch\Generated\Common\OpenSearchResult OpenSearch\Client\DataCollectionClient::add(array $fields)

參數描述

參數名稱	類型	描述
$fields	array	一條行為資料（或使用者資料、物品資料）文檔的所有欄位，例如array(“user_id” => “1021468”, “bhv_type” => “click”);

commit

介面描述

把 SDK Client buffer 中的文檔發布到服務端。

說明

Note: 在發送之前會把 buffer 中的文檔清空，所以如果服務端返回錯誤需要重試的情況下，需要重建文檔並 commit，避免丟資料的可能。

介面定義

\OpenSearch\Generated\Common\OpenSearchResult OpenSearch\Client\DataCollectionClient::commit(string $searchAppName,string $dataCollectionName,string $dataCollectionType)

參數描述

參數名稱	類型	描述
$searchAppName	string	關聯的搜尋應用程式名稱
$dataCollectionName	string	資料擷取名稱，開通時控制台會返回該名稱
$dataCollectionType	string	資料擷取類型：BEHAVIOR

push

介面描述

批量推送文檔。

說明

Note：此操作會同步發送文檔到服務端。

介面定義

\OpenSearch\Generated\Common\OpenSearchResult OpenSearch\Client\DataCollectionClient::push(string $docJson,string $searchAppName,string $dataCollectionName,string $dataCollectionType)

參數描述

參數名稱	類型	描述
$docJson	string	文檔 list，為 JSON 格式
$searchAppName	string	關聯的搜尋應用程式名稱
$dataCollectionName	string	資料擷取名稱，開通時控制台會返回該名稱
$dataCollectionType	string	資料擷取類型：BEHAVIOR

Push 推送採集資料 PHP Demo

<?php
require_once("Config.inc.php");
use OpenSearch\Client\DataCollectionClient;
use OpenSearch\Generated\DataCollection\Command;
$searchAppName = "opensearch_app_name";
$dataCollectionName = "opened_data_collection_name";
$dataCollectionType = "BEHAVIOR";
$docs = json_encode(array(
    [
        "cmd" => Command::$__names[Command::ADD],
        "fields" => [
            // 使用者唯一標識
            "user_id" => "1120021255", 
            // 業務側用於區分不同業務的數值ID 對應一個OpenSearch應用
            "biz_id" => 1365378,
            // 搜尋結果中返回的request_id的值，原樣回傳即可
            "rn" => "156516585419723283227314",
            // 如果是來自OpenSearch的結果，該欄位值設定為Alibaba
            "trace_id" => "Alibaba",
            // 搜尋結果中返回的ops_request_misc的值，原樣回傳即可
            "trace_info" => "%7B%22request%5Fid%22%3A%22156516585419723283227314%22%2C%22scm%22%3A%2220140713.120006678..%22%7D",
            // OpenSearch應用中主表主索引值
            "item_id" => "2223",
            // item類型為 物品、商品
            "item_type" => "goods",
            // 點擊類行為資料
            "bhv_type" => "click",
            // 行為發生的秒級時間戳記
            "bhv_time" => "1566475047"
        ]
    ]
));
// 建立DataCollectionClient對象，並以OpenSearchClient對象作為構造參數
$dataCollectionClient = new DataCollectionClient($client);
$ret = $dataCollectionClient->push($docs, $searchAppName, $dataCollectionName, $dataCollectionType);
print_r(json_decode($ret->result, true));

Commit 推送採集資料 PHP Demo

<?php
require_once("Config.inc.php");
use OpenSearch\Client\DataCollectionClient;
use OpenSearch\Generated\DataCollection\Command;
$searchAppName = "opensearch_app_name";
$dataCollectionName = "opened_data_collection_name";
$dataCollectionType = "BEHAVIOR";
// 建立DataCollectionClient對象，並以OpenSearchClient對象作為構造參數
$dataCollectionClient = new DataCollectionClient($client);
// 增加一條文檔
// 這條文檔只是增加到 SDK Client buffer中，沒有正式提交到服務端；只有調用了 commit 方法才會被提交到服務端。
// 可以多次調用 add，然後調用commit() 統一提交。
$dataCollectionClient->add([
    // 使用者唯一標識
    "user_id" => "1120021255", 
    // 業務側用於區分不同業務的數值ID 對應一個OpenSearch應用
    "biz_id" => 1365378,
    // 搜尋結果中返回的request_id的值，原樣回傳即可
    "rn" => "156516585419723283227314",
    // 如果是來自OpenSearch的結果，該欄位值設定為Alibaba
    "trace_id" => "Alibaba",
    // 搜尋結果中返回的ops_request_misc的值，原樣回傳即可
    "trace_info" => "%7B%22request%5Fid%22%3A%22156516585419723283227314%22%2C%22scm%22%3A%2220140713.120006678..%22%7D",
    // OpenSearch應用中主表主索引值
    "item_id" => "2223",
    // item類型為 物品、商品
    "item_type" => "goods",
    // 點擊類行為資料
    "bhv_type" => "click",
    // 行為發生的秒級時間戳記
    "bhv_time" => "1566475047"
]);
$ret = $dataCollectionClient->commit($searchAppName, $dataCollectionName, $dataCollectionType);
print_r(json_decode($ret->result, true));

Push 推送採集資料 Java Demo

package com.aliyun.opensearch.demo;
import com.aliyun.opensearch.DataCollectionClient;
import com.aliyun.opensearch.OpenSearchClient;
import com.aliyun.opensearch.sdk.generated.OpenSearch;
import com.aliyun.opensearch.sdk.generated.commons.OpenSearchResult;
public class PushDataCollectionDoc {
    private static String accesskey = "your ak";
    private static String secret = "your secret";
    private static String host = "your host";
    private static String searchAppName = "opensearch_app_name";
    private static String dataCollectionName = "opened_data_collection_name";
    private static String dataCollectionType = "BEHAVIOR";
    public static void main(String[] args) {
        //建立並構造OpenSearch對象
        OpenSearch opensearch = new OpenSearch(accesskey, secret, host);
        //建立OpenSearchClient對象，並以OpenSearch對象作為構造參數
        OpenSearchClient client = new OpenSearchClient(opensearch);
        //建立DataCollectionClient對象，並以OpenSearchClient對象作為構造參數
        DataCollectionClient dataCollectionClient = new DataCollectionClient(client);
        // 直接推送文檔
        String docJson = "[{\"cmd\":\"ADD\",\"fields\":{\"user_id\":\"1120021255\","+
                         "\"biz_id\":1365378,\"rn\":\"156516585419723283227314\","+
                         "\"trace_id\":\"Alibaba\","+
                         "\"trace_info\":\"%7B%22request%5Fid%22%3A%22156516585419723283227314%22%2C%22scm%22%3A%2220140713.120006678..%22%7D\","+
                         "\"item_id\":\"id\",\"item_type\":\"goods\","+
                         "\"bhv_type\":\"click\",\"bhv_time\":\"1566475047\"}}]";
        try {
            OpenSearchResult openSearchResult = dataCollectionClient.push(docJson, 
                                                searchAppName, dataCollectionName, 
                                                dataCollectionType);
            System.out.println(openSearchResult);
        } catch (Exception e) {
            e.printStackTrace();
            assertTrue(false);
            return;
        }
    }
}

Commit 推送採集資料 Java Demo

package com.aliyun.opensearch.demo;
import com.aliyun.opensearch.DataCollectionClient;
import com.aliyun.opensearch.OpenSearchClient;
import com.aliyun.opensearch.sdk.generated.OpenSearch;
import com.aliyun.opensearch.sdk.generated.commons.OpenSearchResult;
import java.util.HashMap;
import java.util.Map;
public class PushDataCollectionDoc {
    private static String accesskey = "your ak";
    private static String secret = "your secret";
    private static String host = "your host";
    private static String searchAppName = "opensearch_app_name";
    private static String dataCollectionName = "opened_data_collection_name";
    private static String dataCollectionType = "BEHAVIOR";
    public static void main(String[] args) {
        //建立並構造OpenSearch對象
        OpenSearch opensearch = new OpenSearch(accesskey, secret, host);
        //建立OpenSearchClient對象，並以OpenSearch對象作為構造參數
        OpenSearchClient client = new OpenSearchClient(opensearch);
        //建立DataCollectionClient對象，並以OpenSearchClient對象作為構造參數
        DataCollectionClient dataCollectionClient = new DataCollectionClient(client);
        Map<String, Object> fields = new HashMap<String, Object>();
        // 使用者唯一標識
        fields.put("user_id", "1120021255");
        // 業務側用於區分不同業務的數值ID 對應一個OpenSearch應用
        fields.put("biz_id", 1365378);
        // 搜尋結果中返回的request_id的值，原樣回傳即可
        fields.put("rn", "1564455556323223680397827");
        // 如果是來自OpenSearch的結果，該欄位值設定為Alibaba
        fields.put("trace_id", "Alibaba");
        // 搜尋結果中返回的ops_request_misc的值，原樣回傳即可
        fields.put("trace_info", "%7B%22request%5Fid%22%3A%22156516585419723283227314%22%2C%22scm%22%3A%2220140713.120006678..%22%7D");
        // OpenSearch應用中主表主索引值
        fields.put("item_id", "2223");
        // item類型為 物品、商品
        fields.put("item_type", "goods");
        // 點擊類行為資料
        fields.put("bhv_type", "click");
        // 行為發生的秒級時間戳記
        fields.put("bhv_time", "1566475047");
        //增加一條文檔
        //這條文檔只是增加到 SDK Client buffer中，沒有正式提交到服務端；只有調用了 commit 方法才會被提交到服務端。
        //可以多次調用 add，然後調用commit() 統一提交。
        dataCollectionClient.add(fields);
        try {
            OpenSearchResult openSearchResult = dataCollectionClient.commit(searchAppName, dataCollectionName, dataCollectionType);
            System.out.println(openSearchResult);
        } catch (Exception e) {
            e.printStackTrace();
            return;
        }
    }
}