全部產品
Search
文件中心

Simple Log Service:通過Python SDK使用SQL獨享版

更新時間:Jun 30, 2024

本文介紹通過Python SDK使用SQL獨享版的程式碼範例。

前提條件

  • 已建立RAM使用者並完成授權。具體操作,請參見建立RAM使用者並完成授權

  • 已配置環境變數ALIBABA_CLOUD_ACCESS_KEY_IDALIBABA_CLOUD_ACCESS_KEY_SECRET。具體操作,請參見在Linux、macOS和Windows系統配置環境變數

    重要
    • 阿里雲帳號的AccessKey擁有所有API的存取權限,建議您使用RAM使用者的AccessKey進行API訪問或日常營運。

    • 強烈建議不要把AccessKey ID和AccessKey Secret儲存到工程代碼裡,否則可能導致AccessKey泄露,威脅您帳號下所有資源的安全。

  • 已安裝0.7.5及以上版本的Python SDK。更多資訊,請參見安裝Python SDK

背景資訊

Log Service提供SQL獨享版,用於增強SQL分析能力,支援千億行資料的計算。更多資訊,請參見開啟SQL獨享版

Log Service提供execute_logstore_sql介面和execute_project_sql介面,協助您更簡單的使用SQL獨享版。

  • execute_logstore_sql介面:在指定Logstore中使用SQL獨享版。該介面支援的查詢和分析文法相容標準的SQL92文法,格式為查詢語句|分析語句,其中分析語句採用標準的SQL92文法。

  • execute_project_sql介面:在指定Project中使用SQL獨享版。該介面支援的查詢和分析文法為標準的SQL92文法,即您的過濾條件和查詢時間要寫在SQL分析語句的WHERE語句中。

說明

如果您執行分析操作時,需要先過濾一部分資料再分析,建議您使用查詢語句|分析語句文法,效率更高,即推薦使用execute_logstore_sql介面。

使用SQL獨享版的程式碼範例

程式碼範例如下,更多資訊,請參見Aliyun Log Python SDK

# encoding: utf-8
from __future__ import print_function

import time
import os
from aliyun.log import *


def main():
    # Log Service的服務存取點。此處以杭州為例,其它地區請根據實際情況填寫。
    endpoint = 'cn-hangzhou.log.aliyuncs.com'
    # 本樣本從環境變數中擷取AccessKey ID和AccessKey Secret。
    access_key_id = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
    access_key = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')
    # Project名稱。
    project_name = 'aliyun-test-project'
    # Logstore名稱。
    logstore_name = 'aliyun-test-logstore'

    # 建立Log ServiceClient。
    client = LogClient(endpoint, access_key_id, access_key)

    # 在指定的Logstore內執行SQL分析。
    print("===sample_execute_logstore_sql===")
    res = client.execute_logstore_sql(project_name, logstore_name,
                                      int(time.time() - 60),int(time.time()),
                                      "* | select count(1) as cnt",True)
    # 列印計算結果的統計資訊。
    res.log_print()
    # 處理的日誌行數。
    print("processed_rows: %s" % res.get_processed_rows())
    # SQL分析執行的時間長度。
    print("elapsed_mills: %s" % res.get_elapsed_mills())
    # 是否使用了SQL語句。
    print("has_sql: %s" % res.get_has_sql())
    # 豎線(|)前的WHERE語句。
    print("where_query: %s" % res.get_where_query())
    # 豎線(|)後的SELECT彙總計算語句。
    print("agg_query: %s" % res.get_agg_query())
    # 開啟SQL獨享版後,執行SQL分析所花費的CPU時間,單位為秒。SQL獨享版按照CPU時間計費,更多資訊,請參見計費項目。
    print("cpu_sec: %s" % res.get_cpu_sec())
    # 開啟SQL獨享版後,執行SQL分析所使用的CPU核心數。
    print("cpu_cores: %s" % res.get_cpu_cores())


    # 在指定的Project內執行SQL分析。
    print("===sample_execute_project_sql===")
    res = client.execute_project_sql(project_name,"select count(1) as cnt from %s where __time__ > %s"
                                     % (logstore_name, int(time.time() - 60)),True)
    # 列印計算結果的統計資訊。
    res.log_print()
    # 處理的日誌行數。
    print("processed_rows: %s" % res.get_processed_rows())
    # SQL分析執行的時間長度。
    print("elapsed_mills: %s" % res.get_elapsed_mills())
    # 是否使用了SQL語句。
    print("has_sql: %s" % res.get_has_sql())
    # 豎線(|)前的WHERE語句。
    print("where_query: %s" % res.get_where_query())
    # 豎線(|)後的SELECT彙總計算語句。
    print("agg_query: %s" % res.get_agg_query())
    # 開啟SQL獨享版後,執行SQL分析所花費的CPU時間,單位為秒。SQL獨享版按照CPU時間計費,更多資訊,請參見計費項目。
    print("cpu_sec: %s" % res.get_cpu_sec())
    # 開啟SQL獨享版後,執行SQL分析所使用的CPU核心數。
    print("cpu_cores: %s" % res.get_cpu_cores())


if __name__ == '__main__':
    main()
  • execute_logstore_sql介面

    調用execute_logstore_sql介面使用SQL獨享版,格式為res = client.execute_logstore_sql(project, logstoreName, from, to, query, powerSql),各個參數說明如下表所示。

    參數名稱

    類型

    是否必選

    樣本

    說明

    project_name

    String

    不涉及

    Project名稱。

    在建立Client時,已定義project_name,此處無需配置。

    logstore_name

    String

    不涉及

    Logstore名稱。

    在建立Client時,已定義logstore_name,此處無需配置。

    from

    Long

    int(time.time() - 60)

    查詢起始時間。Unix時間戳記格式,表示從1970-1-1 00:00:00 UTC計算起的秒數。

    to

    Long

    int(time.time())

    查詢結束時間點。Unix時間戳記格式,表示從1970-1-1 00:00:00 UTC計算起的秒數。

    query

    String

    "* | select count(1) as cnt"

    Log Service查詢和分析語句,格式為查詢語句|分析語句。更多資訊,請參見基礎文法

    Log Service預設返回100行結果,您也可以使用LIMIT子句指定返回結果的行數。更多資訊,請參見LIMIT子句

    powerSql

    Boolean

    True

    是否使用SQL獨享版。更多資訊,請參見開啟SQL獨享版

    • True:使用SQL獨享版。

    • False(預設值):使用SQL普通版。

  • execute_project_sql介面

    調用execute_project_sql介面使用SQL獨享版,格式為res = client.execute_project_sql(project, query, powerSql),各個參數說明如下表所示。

    參數名稱

    類型

    是否必選

    樣本

    說明

    project_name

    String

    aliyun-test-project

    Project名稱。

    在建立Client時,已定義project_name,此處無需配置。

    query

    String

    "select count(1) as cnt from %s where __time__ > %s" % (logstore_name, int(time.time() - 60))

    標準的SQL語句,即您的查詢語句要寫在SQL分析語句的WHERE語句中。

    Log Service預設返回100行結果,您也可以使用LIMIT子句指定返回結果的行數。更多資訊,請參見LIMIT子句

    powerSql

    Boolean

    True

    是否使用SQL獨享版。更多資訊,請參見開啟SQL獨享版

    • True:使用SQL獨享版。

    • False(預設值):使用SQL普通版。

建立、更新和擷取SQL Instance的程式碼範例

開啟SQL獨享版後,您還可以建立SQL Instance,用於指定SQL獨享版CU數。Log Service通過SQL獨享版的CU數來控制SQL獨享版的費用。程式碼範例如下,更多資訊,請參見Aliyun Log Python SDK

# encoding: utf-8
from __future__ import print_function

import time
import os
from aliyun.log import *

def main():
    # Log Service的服務入口。更多資訊,請參見服務入口。此處以杭州為例,其它地區請根據實際情況填寫。
    endpoint = 'cn-hangzhou.log.aliyuncs.com'
    # 本樣本從環境變數中擷取AccessKey ID和AccessKey Secret。
    access_key_id = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
    access_key = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')
    # Project名稱。
    project_name = 'aliyun-test-project'
    # Logstore名稱。
    logstore_name = 'aliyun-test-logstore'

    # 建立Log ServiceClient。
    client = LogClient(endpoint, access_key_id, access_key)

    # 建立SQL Instance配置,支援配置SQL獨享版CU數。CU數的取值範圍為0~1000。
    print("===sample_create_sql_instance===")
    res = client.create_sql_instance(project_name, 500)
    res.log_print()

    # 更新SQL Instance配置,支援更新SQL獨享版CU數。CU數的取值範圍為0~1000。
    print("===sample_update_sql_instance===")
    res = client.update_sql_instance(project_name, 800)
    res.log_print()

    # 擷取SQL Instance配置。
    print("===sample_list_sql_instance===")
    res = client.list_sql_instance(project_name)
    res.log_print()


if __name__ == '__main__':
    main()