全部產品
Search
文件中心

Simple Log Service:通過Java SDK使用SQL獨享版

更新時間:Jun 30, 2024

當您使用SQL分析時,SQL普通版無法在一次查詢中完整掃描指定時間段內的所有日誌,您可以通過開啟SQL獨享版,增加計算資源,提升單次分析的資料量。本文介紹通過Java SDK使用SQL獨享版的程式碼範例。

前提條件

  • 已開通Log Service。更多資訊,請參見開通Log Service

  • 已建立RAM使用者並完成授權。具體操作,請參見建立RAM使用者並完成授權

  • 已配置環境變數ALIBABA_CLOUD_ACCESS_KEY_IDALIBABA_CLOUD_ACCESS_KEY_SECRET。具體操作,請參見在Linux、macOS和Windows系統配置環境變數

    重要
    • 阿里雲帳號的AccessKey擁有所有API的存取權限,建議您使用RAM使用者的AccessKey進行API訪問或日常營運。

    • 強烈建議不要把AccessKey ID和AccessKey Secret儲存到工程代碼裡,否則可能導致AccessKey泄露,威脅您帳號下所有資源的安全。

  • 已安裝0.6.68及以上版本的Java SDK。更多資訊,請參見安裝Java SDK

背景資訊

Simple Log Service提供SQL獨享版,用於增強SQL分析能力,支援千億行資料的計算。更多資訊,請參見開啟SQL獨享版

注意事項

本樣本以華東1(杭州)的公網Endpoint為例,其公網Endpoint為https://cn-hangzhou.log.aliyuncs.com。如果您通過與Project同地區的其他阿里雲產品訪問Log Service,請使用內網Endpointhttps://cn-hangzhou-intranet.log.aliyuncs.com。關於Log Service支援的地區與Endpoint的對應關係,請參見服務入口

步驟一:建立Log Service用戶端

        // 本樣本從環境變數中擷取AccessKey ID和AccessKey Secret。
        String accessId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
        String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
        // 輸入Project名稱。
        String project = "aliyun-test-project";
        // 設定服務存取點。此處以杭州為例,其它地區請根據實際情況填寫。
        String host = "cn-hangzhou.log.aliyuncs.com"; 
        // 輸入Logstore名稱。
        String logStore = "aliyun-test-logstore";
        // 設定Shard ID。
        int shardId = 0;
        
        // 建立Log ServiceClient。
        Client client = new Client(host, accessId, accessKey);

步驟二:使用SQL獨享版

  1. 使用SQL獨享版之前,需要確認是否已經開啟SQL獨享版。

    Log Service控制台查看

    Log Service控制查看是否開啟SQL獨享版,請參見開啟SQL獨享版

    OpenAPI查看

    OpenAPI查看是否開啟SQL獨享版,請參見GetSqlInstance

  2. Simple Log Service提供executeLogStoreSql介面和executeProjectSql介面,協助您更簡單的使用SQL獨享版。

    程式碼範例如下,更多資訊,請參見Aliyun Log Java SDK

    說明

    如果您執行分析操作時,需要先過濾一部分資料再分析,建議您使用查詢語句|分析語句文法,效率更高,即推薦使用executeLogStoreSql介面。

    executeLogStoreSql

    在指定Logstore中使用SQL獨享版。該介面支援的查詢和分析文法相容標準的SQL92文法,格式為查詢語句|分析語句,其中分析語句採用標準的SQL92文法。

    import com.aliyun.openservices.log.Client;
    import com.aliyun.openservices.log.common.LogContent;
    import com.aliyun.openservices.log.common.LogItem;
    import com.aliyun.openservices.log.common.QueriedLog;
    import com.aliyun.openservices.log.exception.LogException;
    import com.aliyun.openservices.log.response.GetLogsResponse;
    
    import java.util.Date;
    
    public class SlsSample {
    
        public static void main(String args[]) throws LogException,
                InterruptedException {
            // 本樣本從環境變數中擷取AccessKey ID和AccessKey Secret。
            String accessId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
            String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
            // 輸入Project名稱。
            String project = "aliyun-test-project";
            // 設定服務存取點。此處以杭州為例,其它地區請根據實際情況填寫。
            String host = "cn-hangzhou.log.aliyuncs.com";
            // 輸入Logstore名稱。
            String logStore = "aliyun-test-logstore";
            // 設定Shard ID。
            int shardId = 0;
    
            // 建立Log ServiceClient。
            Client client = new Client(host, accessId, accessKey);
    
            // 在指定的Logstore內執行SQL分析。
            try {
                String sql = "* | select count(1)";
                int from = (int) (new Date().getTime() / 1000 - 600);
                int to = (int) (new Date().getTime() / 1000);
                GetLogsResponse logsResponse = client.executeLogstoreSql(project, logStore, 1627268185, 1627269085, "* | SELECT count(*)", true);
                System.out.println("Returned sql result count:" + logsResponse.GetCount());
                for (QueriedLog log : logsResponse.getLogs()) {
                    LogItem item = log.GetLogItem();
                    System.out.println("time : " + item.mLogTime);
                    for (LogContent content : item.mContents) {
                        System.out.println(content.mKey + ":" + content.mValue);
                    }
                }
                // 列印計算結果的統計資訊。
                // 處理的日誌行數。
                System.out.println("proccesedRows:" + logsResponse.getProcessedRow());
                // SQL分析執行的時間長度。
                System.out.println("elapsedMilli:" + logsResponse.getElapsedMilliSecond());
                // 開啟SQL獨享版後,執行SQL分析所花費的CPU時間,單位為秒。SQL獨享版按照CPU時間計費,更多資訊,請參見計費項目。
                System.out.println("cpuSec:" + logsResponse.getCpuSec());
                // 開啟SQL獨享版後,執行SQL分析所使用的CPU核心數。
                System.out.println("cpuCores:" + logsResponse.getCpuCores());
                System.out.println("requestId:" + logsResponse.GetRequestId());
    
            } catch (LogException e) {
                System.out.println("error code :" + e.GetErrorCode());
                System.out.println("error message :" + e.GetErrorMessage());
                throw e;
            }
        }
    }

    調用executeLogStoreSql介面使用SQL獨享版,格式為GetLogsResponse logsResponse = client.executeLogstoreSql(project, logStore, from, to, query, powerSql),各個參數說明如下表所示。

    參數名稱

    類型

    是否必選

    樣本

    說明

    project

    String

    不涉及

    Project名稱。

    在建立Client時,已定義project,此處無需配置。

    logStore

    String

    不涉及

    Logstore名稱。

    在建立Client時,已定義logStore,此處無需配置。

    from

    Long

    1627268185

    查詢起始時間。Unix時間戳記格式,表示從1970-1-1 00:00:00 UTC計算起的秒數。

    to

    Long

    1627269085

    查詢結束時間點。Unix時間戳記格式,表示從1970-1-1 00:00:00 UTC計算起的秒數。

    query

    String

    "* | SELECT count(*)"

    Simple Log Service查詢和分析語句,格式為查詢語句|分析語句。更多資訊,請參見基礎文法

    Simple Log Service預設返回100行結果,您也可以使用LIMIT子句指定返回結果的行數。更多資訊,請參見LIMIT子句

    powerSql

    Boolean

    true

    是否使用SQL獨享版。更多資訊,請參見開啟SQL獨享版

    • true:使用SQL獨享版。

    • false(預設值):使用SQL普通版。

    executeProjectSql

    import com.aliyun.openservices.log.Client;
    import com.aliyun.openservices.log.common.LogContent;
    import com.aliyun.openservices.log.common.LogItem;
    import com.aliyun.openservices.log.common.QueriedLog;
    import com.aliyun.openservices.log.exception.LogException;
    import com.aliyun.openservices.log.response.GetLogsResponse;
    
    import java.util.Date;
    
    public class SlsSample {
    
        public static void main(String args[]) throws LogException,
                InterruptedException {
            // 本樣本從環境變數中擷取AccessKey ID和AccessKey Secret。
            String accessId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
            String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
            // 輸入Project名稱。
            String project = "aliyun-test-project";
            // 設定服務存取點。此處以杭州為例,其它地區請根據實際情況填寫。
            String host = "cn-hangzhou.log.aliyuncs.com"; 
            // 輸入Logstore名稱。
            String logStore = "aliyun-test-logstore";
            // 設定Shard ID。
            int shardId = 0;
            
            // 建立Log ServiceClient。
            Client client = new Client(host, accessId, accessKey);
            // 在指定的Project內執行SQL分析。
            try {
                int now = (int) (new Date().getTime() / 1000);
                String sql = "select count(1) as cnt from xxx where __time__ > " + now;
                GetLogsResponse logsResponse = client.executeProjectSql(project, "select avg(latency),max(latency) ,count(1) as c from sample-logstore where status>200 and __time__>=1500975424 and __time__ < 1501035044 GROUP BY method ORDER BY c", true);
                System.out.println("Returned sql result count:" + logsResponse.GetCount());
                for (QueriedLog log : logsResponse.getLogs()) {
                    LogItem item = log.GetLogItem();
                    for (LogContent content : item.mContents) {
                        System.out.println(content.mKey + ":" + content.mValue);
                    }
                }
                // 列印計算結果的統計資訊。
                // 處理的日誌行數。
                System.out.println("proccesedRows:" + logsResponse.getProcessedRow());
                // SQL分析執行的時間長度。
                System.out.println("elapsedMilli:" + logsResponse.getElapsedMilliSecond());
                // 開啟SQL獨享版後,執行SQL分析所花費的CPU時間,單位為秒。SQL獨享版按照CPU時間計費,更多資訊,請參見計費項目。
                System.out.println("cpuSec:" + logsResponse.getCpuSec());
                // 開啟SQL獨享版後,執行SQL分析所使用的CPU核心數。
                System.out.println("cpuCores:" + logsResponse.getCpuCores());
                System.out.println("requestId:" + logsResponse.GetRequestId());
            } catch (LogException e) {
                System.out.println("error code :" + e.GetErrorCode());
                System.out.println("error message :" + e.GetErrorMessage());
                throw e;
            }
        }
    }

    調用executeProjectSql介面使用SQL獨享版,格式為GetLogsResponse logsResponse = client.executeProjectSql(project, query, powerSql),各個參數說明如下表所示。

    參數名稱

    類型

    是否必選

    樣本

    說明

    project

    String

    不涉及

    Project名稱。

    在建立Client時,已定義project,此處無需配置。

    query

    String

    "select avg(latency),max(latency) ,count(1) as c from sample-logstore where status>200 and __time__>=1500975424 and __time__ < 1501035044 GROUP BY method ORDER BY c"

    Simple Log Service預設返回100行結果,您也可以使用LIMIT子句指定返回結果的行數。更多資訊,請參見LIMIT子句

    說明

    標準的SQL語句,即您的過濾條件和查詢時間需要寫在SQL分析語句的WHERE語句中(必須在where條件中添加__time__查詢時間範圍)。

    powerSql

    Boolean

    true

    是否使用SQL獨享版。更多資訊,請參見開啟SQL獨享版

    • true:使用SQL獨享版。

    • false(預設值):使用SQL普通版。

相關文檔

  • 在調用API介面過程中,若服務端返回結果中包含錯誤資訊,則表示調用API介面失敗。您可以參考API錯誤碼對照表尋找對應的解決方案。更多資訊,請參見API錯誤處理對照表

  • 阿里雲OpenAPI開發人員門戶提供調試、SDK、樣本和配套文檔。通過OpenAPI,您無需手動封裝請求和簽名操作,就可以快速對Log ServiceAPI進行調試。更多資訊,請參見OpenAPI開發人員門戶

  • 為滿足越來越多的自動化Log Service配置需求,Log Service提供命令列工具CLI(Command Line Interface)。更多資訊,請參見Log Service命令列工具CLI

  • 更多範例程式碼,請參見Aliyun Log Java SDK on GitHub

  • 更多範例程式碼,請參見Aliyun Log Python SDK on GitHub