本文介紹通過Python SDK使用SQL獨享版的程式碼範例。
前提條件
已建立RAM使用者並完成授權。具體操作,請參見建立RAM使用者並完成授權。
已配置環境變數ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_CLOUD_ACCESS_KEY_SECRET。具體操作,請參見在Linux、macOS和Windows系統配置環境變數。
重要阿里雲帳號的AccessKey擁有所有API的存取權限,建議您使用RAM使用者的AccessKey進行API訪問或日常營運。
強烈建議不要把AccessKey ID和AccessKey Secret儲存到工程代碼裡,否則可能導致AccessKey泄露,威脅您帳號下所有資源的安全。
已安裝0.7.5及以上版本的Python SDK。更多資訊,請參見安裝Python SDK。
背景資訊
Log Service提供SQL獨享版,用於增強SQL分析能力,支援千億行資料的計算。更多資訊,請參見開啟SQL獨享版。
Log Service提供execute_logstore_sql介面和execute_project_sql介面,協助您更簡單的使用SQL獨享版。
execute_logstore_sql介面:在指定Logstore中使用SQL獨享版。該介面支援的查詢和分析文法相容標準的SQL92文法,格式為
查詢語句|分析語句
,其中分析語句採用標準的SQL92文法。execute_project_sql介面:在指定Project中使用SQL獨享版。該介面支援的查詢和分析文法為標準的SQL92文法,即您的過濾條件和查詢時間要寫在SQL分析語句的WHERE語句中。
如果您執行分析操作時,需要先過濾一部分資料再分析,建議您使用查詢語句|分析語句
文法,效率更高,即推薦使用execute_logstore_sql介面。
使用SQL獨享版的程式碼範例
程式碼範例如下,更多資訊,請參見Aliyun Log Python SDK。
# encoding: utf-8
from __future__ import print_function
import time
import os
from aliyun.log import *
def main():
# Log Service的服務存取點。此處以杭州為例,其它地區請根據實際情況填寫。
endpoint = 'cn-hangzhou.log.aliyuncs.com'
# 本樣本從環境變數中擷取AccessKey ID和AccessKey Secret。
access_key_id = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
access_key = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')
# Project名稱。
project_name = 'aliyun-test-project'
# Logstore名稱。
logstore_name = 'aliyun-test-logstore'
# 建立Log ServiceClient。
client = LogClient(endpoint, access_key_id, access_key)
# 在指定的Logstore內執行SQL分析。
print("===sample_execute_logstore_sql===")
res = client.execute_logstore_sql(project_name, logstore_name,
int(time.time() - 60),int(time.time()),
"* | select count(1) as cnt",True)
# 列印計算結果的統計資訊。
res.log_print()
# 處理的日誌行數。
print("processed_rows: %s" % res.get_processed_rows())
# SQL分析執行的時間長度。
print("elapsed_mills: %s" % res.get_elapsed_mills())
# 是否使用了SQL語句。
print("has_sql: %s" % res.get_has_sql())
# 豎線(|)前的WHERE語句。
print("where_query: %s" % res.get_where_query())
# 豎線(|)後的SELECT彙總計算語句。
print("agg_query: %s" % res.get_agg_query())
# 開啟SQL獨享版後,執行SQL分析所花費的CPU時間,單位為秒。SQL獨享版按照CPU時間計費,更多資訊,請參見計費項目。
print("cpu_sec: %s" % res.get_cpu_sec())
# 開啟SQL獨享版後,執行SQL分析所使用的CPU核心數。
print("cpu_cores: %s" % res.get_cpu_cores())
# 在指定的Project內執行SQL分析。
print("===sample_execute_project_sql===")
res = client.execute_project_sql(project_name,"select count(1) as cnt from %s where __time__ > %s"
% (logstore_name, int(time.time() - 60)),True)
# 列印計算結果的統計資訊。
res.log_print()
# 處理的日誌行數。
print("processed_rows: %s" % res.get_processed_rows())
# SQL分析執行的時間長度。
print("elapsed_mills: %s" % res.get_elapsed_mills())
# 是否使用了SQL語句。
print("has_sql: %s" % res.get_has_sql())
# 豎線(|)前的WHERE語句。
print("where_query: %s" % res.get_where_query())
# 豎線(|)後的SELECT彙總計算語句。
print("agg_query: %s" % res.get_agg_query())
# 開啟SQL獨享版後,執行SQL分析所花費的CPU時間,單位為秒。SQL獨享版按照CPU時間計費,更多資訊,請參見計費項目。
print("cpu_sec: %s" % res.get_cpu_sec())
# 開啟SQL獨享版後,執行SQL分析所使用的CPU核心數。
print("cpu_cores: %s" % res.get_cpu_cores())
if __name__ == '__main__':
main()
execute_logstore_sql介面
調用execute_logstore_sql介面使用SQL獨享版,格式為
res = client.execute_logstore_sql(project, logstoreName, from, to, query, powerSql)
,各個參數說明如下表所示。參數名稱
類型
是否必選
樣本
說明
project_name
String
是
不涉及
Project名稱。
在建立Client時,已定義project_name,此處無需配置。
logstore_name
String
是
不涉及
Logstore名稱。
在建立Client時,已定義logstore_name,此處無需配置。
from
Long
是
int(time.time() - 60)
查詢起始時間。Unix時間戳記格式,表示從1970-1-1 00:00:00 UTC計算起的秒數。
to
Long
是
int(time.time())
查詢結束時間點。Unix時間戳記格式,表示從1970-1-1 00:00:00 UTC計算起的秒數。
query
String
是
"* | select count(1) as cnt"
Log Service查詢和分析語句,格式為
查詢語句|分析語句
。更多資訊,請參見基礎文法。Log Service預設返回100行結果,您也可以使用LIMIT子句指定返回結果的行數。更多資訊,請參見LIMIT子句。
powerSql
Boolean
否
True
是否使用SQL獨享版。更多資訊,請參見開啟SQL獨享版。
True:使用SQL獨享版。
False(預設值):使用SQL普通版。
execute_project_sql介面
調用execute_project_sql介面使用SQL獨享版,格式為
res = client.execute_project_sql(project, query, powerSql)
,各個參數說明如下表所示。參數名稱
類型
是否必選
樣本
說明
project_name
String
是
aliyun-test-project
Project名稱。
在建立Client時,已定義project_name,此處無需配置。
query
String
是
"select count(1) as cnt from %s where __time__ > %s" % (logstore_name, int(time.time() - 60))
標準的SQL語句,即您的查詢語句要寫在SQL分析語句的WHERE語句中。
Log Service預設返回100行結果,您也可以使用LIMIT子句指定返回結果的行數。更多資訊,請參見LIMIT子句。
powerSql
Boolean
否
True
是否使用SQL獨享版。更多資訊,請參見開啟SQL獨享版。
True:使用SQL獨享版。
False(預設值):使用SQL普通版。
建立、更新和擷取SQL Instance的程式碼範例
開啟SQL獨享版後,您還可以建立SQL Instance,用於指定SQL獨享版CU數。Log Service通過SQL獨享版的CU數來控制SQL獨享版的費用。程式碼範例如下,更多資訊,請參見Aliyun Log Python SDK。
# encoding: utf-8
from __future__ import print_function
import time
import os
from aliyun.log import *
def main():
# Log Service的服務入口。更多資訊,請參見服務入口。此處以杭州為例,其它地區請根據實際情況填寫。
endpoint = 'cn-hangzhou.log.aliyuncs.com'
# 本樣本從環境變數中擷取AccessKey ID和AccessKey Secret。
access_key_id = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
access_key = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')
# Project名稱。
project_name = 'aliyun-test-project'
# Logstore名稱。
logstore_name = 'aliyun-test-logstore'
# 建立Log ServiceClient。
client = LogClient(endpoint, access_key_id, access_key)
# 建立SQL Instance配置,支援配置SQL獨享版CU數。CU數的取值範圍為0~1000。
print("===sample_create_sql_instance===")
res = client.create_sql_instance(project_name, 500)
res.log_print()
# 更新SQL Instance配置,支援更新SQL獨享版CU數。CU數的取值範圍為0~1000。
print("===sample_update_sql_instance===")
res = client.update_sql_instance(project_name, 800)
res.log_print()
# 擷取SQL Instance配置。
print("===sample_list_sql_instance===")
res = client.list_sql_instance(project_name)
res.log_print()
if __name__ == '__main__':
main()