全部產品
Search
文件中心

Simple Log Service:MetricStore HTTP API詳情

更新時間:Aug 28, 2024

Log Service提供多個用於查詢時序指標或寫入指標資料到MetricStore的API,這些API相容Prometheus開源協議。本文介紹這些API的使用詳情。

概述

Prometheus所提供的介面都在/api/v1目錄下,MetricStore相關的API同樣遵循此規則,其完整的URL為https://{project}.{sls-endpoint}/prometheus/{project}/{metricstore}/api/v1/。

變數

是否必填

說明

{sls-endpoint}

服務入口是訪問一個Project及其內部資料的URL,Log Service提供私網網域名稱和公網網域名稱。更多資訊,請參見服務入口

{project}

Log ServiceProject名稱,更多資訊,請參見管理Project

{metricstore}

您已建立的MetricStore。具體操作,請參見建立MetricStore

重要

在調用相關介面時,還需要進行BasicAuth鑒權,即需要設定Username為AccessKey ID,Password為AccessKey Secret。此處建議您使用RAM使用者的AccessKey。您需授予RAM使用者查詢指定Project的許可權。具體操作,請參見配置許可權助手

另外,API介面支援STS鑒權。此時BasicAuth中的Password格式為{AccessKey Secret}${STS Token}。更多資訊,請參見什麼是STS

時序指標查詢API

時序指標查詢API包括Instant Queries API和Range Queries API。

Instant Queries API

Instant Queries API用於查詢指定時間點的指標資料。

GET https://{project}.{sls-endpoint}/prometheus/{project}/{metricstore}/api/v1/query
POST https://{project}.{sls-endpoint}/prometheus/{project}/{metricstore}/api/v1/query

參數說明如下表所示。

變數

是否必填

說明

query

具體的PromQL語句。更多資訊,請參見PromQL文法

time

執行查詢的時間點,Unix時間戳記格式,精確到秒。預設為最新時間。

timeout

執行查詢的逾時時間,單位:秒。

同時支援1s、2m、3h、4d等用法。更多資訊,請參見Time Durations

lookback-delta

可用於自訂設定query.lookback-delta這項flag參數值,僅對當次Query有效,該值需遵循Time Durations用法,更多資訊,請參見Time Durations。此參數表示PromQL計算中尋點過程的最大回溯區間,SLS時序庫中該值預設為"3m"。

  • 範例程式碼

    curl -X GET 'https://haoqi-sls-metric-test.pub-cn-hangzhou.log.aliyuncs.com/prometheus/haoqi-sls-metric-test/prometheus-metrics/api/v1/query?query=up&time=1676700699' \
    -u username:password \
    -H 'Content-Type: application/x-www-form-urlencoded'
    
    # 設定username和password為阿里雲AccessKey。
  • 查詢結果

    {
        "status": "success",
        "data": {
            "resultType": "vector",
            "result": [
                {
                    "metric": {
                        "__name__": "up",
                        "instance": "demo.promlabs.com:10001",
                        "job": "demo"
                    },
                    "value": [
                        1676700550.696,
                        "1"
                    ]
                },
                {
                    "metric": {
                        "__name__": "up",
                        "instance": "demo.promlabs.com:10000",
                        "job": "demo"
                    },
                    "value": [
                        1676700550.696,
                        "1"
                    ]
                }
            ]
        }
    }

Range Queries API

Range Queries API用於查詢指定時間範圍內多個時間點的指標資料。

GET https://{project}.{sls-endpoint}/prometheus/{project}/{metricstore}/api/v1/query_range
POST https://{project}.{sls-endpoint}/prometheus/{project}/{metricstore}/api/v1/query_range

參數說明如下表所示。

變數

是否必填

說明

query

具體的PromQL語句。更多資訊,請參見PromQL文法

start

查詢的起始時間點,Unix時間戳記格式,精確到秒。

end

查詢的截止時間點,Unix時間戳記格式,精確到秒。

step

執行查詢的間隔時間,單位:秒。

同時支援1s、2m、3h、4d等用法。更多資訊,請參見Time Durations

timeout

執行查詢的逾時時間,單位:秒。

同時支援1s、2m、3h、4d等用法。更多資訊,請參見Time Durations

lookback-delta

可用於自訂設定query.lookback-delta這項flag參數值,僅對當次Query有效,該值需遵循Time Durations用法,更多資訊,請參見Time Durations。此參數表示PromQL計算中尋點過程的最大回溯區間,SLS時序庫中該值預設為"3m"。

  • 範例程式碼

    查詢2023-02-18 14:09:59到2023-02-18 14:16:39之間的指標資料,step為60s。

    curl -X GET 'https://haoqi-sls-metric-test.pub-cn-hangzhou.log.aliyuncs.com/prometheus/haoqi-sls-metric-test/prometheus-metrics/api/v1/query_range?query=up&start=1676700599&end=1676700999&step=60s' \
    -u username:password \
    -H 'Content-Type: application/x-www-form-urlencoded'
    
    # 設定username和password為阿里雲AccessKey。
  • 查詢結果

    {
      "status": "success",
      "data": {
        "resultType": "matrix",
        "result": [
          {
            "metric": {
              "__name__": "up",
              "instance": "demo.promlabs.com:10000",
              "job": "demo"
            },
            "values": [
              [
                1676700599,
                "1"
              ],
              [
                1676700659,
                "1"
              ],
              [
                1676700719,
                "0"
              ],
              [
                1676700779,
                "0"
              ],
              [
                1676700839,
                "1"
              ],
              [
                1676700899,
                "0"
              ],
              [
                1676700959,
                "1"
              ]
            ]
          },
          {
            "metric": {
              "__name__": "up",
              "instance": "demo.promlabs.com:10001",
              "job": "demo"
            },
            "values": [
              [
                1676700599,
                "1"
              ],
              [
                1676700659,
                "1"
              ],
              [
                1676700719,
                "0"
              ],
              [
                1676700779,
                "0"
              ],
              [
                1676700839,
                "1"
              ],
              [
                1676700899,
                "1"
              ],
              [
                1676700959,
                "1"
              ]
            ]
          }
        ]
      }
    }

中繼資料查詢API

Log Service還支援查詢Label、LabelValue等中繼資料資訊,即相容了Prometheus中Querying metadata的相關介面。此類介面支援擷取特定時間段內所有的metric、Label和LabelValue資訊,但不包含時間戳記與數值資訊。

Query Series API

Query Series API用於查詢指定時間段內特定條件下的所有MetricName以及該MetricName下所有的Label數值對。

GET https://{project}.{sls-endpoint}/prometheus/{project}/{metricstore}/api/v1/series
POST https://{project}.{sls-endpoint}/prometheus/{project}/{metricstore}/api/v1/series

參數說明如下表所示。

變數

是否必填

說明

match[]

篩選條件,例如up{instance="demo.*"}。

您可以設定一個或多個值。

start

查詢的起始時間點,Unix時間戳記格式,精確到秒。

預設為目前時間的5分鐘之前。

end

查詢的截止時間點,Unix時間戳記格式,精確到秒。

預設為目前時間。

重要

如果startend參數都是自訂的,該API也只支援查詢end時間點之前5分鐘的資料,即查詢 (end - 5 minute, end) 區間內的資料

  • 配置樣本

    curl -g -X GET 'https://haoqi-sls-metric-test.pub-cn-hangzhou.log.aliyuncs.com/prometheus/haoqi-sls-metric-test/prometheus-metrics/api/v1/series?match[]=up{instance="demo.promlabs.com:10000"}&match[]=go_sched_latencies_seconds_bucket&start=1676700599&end=1676700999' \
    -u username:password \
    -H 'Content-Type: application/x-www-form-urlencoded'
    
    # 設定username和password為阿里雲AccessKey。
  • 查詢結果

    {
        "status": "success",
        "data": [
            {
                "__name__": "go_gc_duration_seconds_count",
                "instance": "demo.promlabs.com:10000",
                "job": "demo"
            },
            {
                "__name__": "go_gc_duration_seconds_count",
                "instance": "demo.promlabs.com:10001",
                "job": "demo"
            },
            {
                "__name__": "up",
                "instance": "demo.promlabs.com:10000",
                "job": "demo"
            }
        ]
    }

Query Label Names API

查詢指定時間段內特定條件下所有的LabelName。

GET https://{project}.{sls-endpoint}/prometheus/{project}/{metricstore}/api/v1/labels
POST https://{project}.{sls-endpoint}/prometheus/{project}/{metricstore}/api/v1/labels

參數說明如下表所示。

變數

是否必填

說明

match[]

篩選條件,例如up{instance="demo.*"}。

您可以設定零個、一個或多個值。

start

查詢區間的起始時間點,Unix時間戳記格式,精確到秒。

預設為目前時間的5分鐘之前。

end

查詢區間的截止時間點,Unix時間戳記格式,精確到秒。

預設為目前時間。

重要

如果startend參數都是自訂的,該API也只支援查詢end時間點之前5分鐘的資料,即查詢 (end - 5 minute, end) 區間內的資料

  • 配置樣本

    查詢指定時間段內所有Metric的LabelName資訊。

    curl -X GET 'https://haoqi-sls-metric-test.pub-cn-hangzhou.log.aliyuncs.com/prometheus/haoqi-sls-metric-test/prometheus-metrics/api/v1/labels?start=1676700599&end=1676700999' \
    -u username:password \
    -H 'Content-Type: application/x-www-form-urlencoded'
    
    # 設定username和password為阿里雲AccessKey。
  • 查詢結果

    {
        "status": "success",
        "data": [
            "code",
            "instance",
            "job",
            "le",
            "method",
            "mode",
            "path",
            "quantile",
            "status",
            "type",
            "version",
            "__name__"
        ]
    }

Query Label Values API

Query Label Values API用於查詢指定時間段內特定條件以及特定LabelName下所有的LabelValue資訊。

重要

該介面URL中的<label_name>需替換為具體的LabelName。

GET https://{project}.{sls-endpoint}/prometheus/{project}/{metricstore}/api/v1/label/<label_name>/values

參數說明如下表所示。

變數

是否必填

說明

match[]

篩選條件,例如up{instance="demo.*"}。

您可以設定一個或多個值。

start

查詢的起始時間點,Unix時間戳記格式,精確到秒。

預設為目前時間的5分鐘之前。

end

查詢區間的截止時間點,Unix時間戳記格式,精確到秒。

預設為目前時間。

重要

如果startend參數都是自訂的,該API也只支援查詢end時間點之前5分鐘的資料,即查詢 (end - 5 minute, end) 區間內的資料

  • 配置樣本

    查詢指定時間段內up指標中,instance Label下所有LabelValue。

    curl -X GET 'https://haoqi-sls-metric-test.pub-cn-hangzhou.log.aliyuncs.com/prometheus/haoqi-sls-metric-test/prometheus-metrics/api/v1/label/instance/values?match[]=up&start=1676700599&end=1676700999' \
    -u username:password \
    -H 'Content-Type: application/x-www-form-urlencoded'
    
    # 設定username和password為阿里雲AccessKey。
  • 查詢結果

    {
        "status": "success",
        "data": [
            "demo.promlabs.com:10000",
            "demo.promlabs.com:10001",
            "demo.promlabs.com:10002"
        ]
    }

資料寫入API

當前已支援通過在Prometheus進程的設定檔中配置remote_write參數的方式接入時序資料到MetricStore。具體操作,請參見通過Remote Write協議接入Prometheus監控資料。MetricStore已相容Prometheus的remote write協議,即您可以直接通過HTTP訪問remote_write介面的方式往MetricStore寫入資料,不需要使用Prometheus進程。

MetricStore為相容remote_write協議提供了如下介面,該介面支援解析時序資料並寫入到後端儲存中。

POST https://{project}.{sls-endpoint}/prometheus/{project}/{metricstore}/api/v1/write

範例程式碼如下所示。

import (
	"bytes"
	"flag"
	"fmt"
	"github.com/gogo/protobuf/proto"
	"github.com/golang/snappy"
	"github.com/prometheus/prometheus/prompb"
	"io/ioutil"
	"net/http"
	"time"
)

func MockRemoteWrite() {
	project := flag.String("project", "xxxx", "")
	metricStore := flag.String("metricstore", "xxxx", "")
	endpoint := flag.String("endpoint", "xxxx", "")
	akId := flag.String("akid", "xxxx", "") // AccessKey資訊。
	akKey := flag.String("aksecret", "xxxx", "")
	flag.Parse()

	Url := fmt.Sprintf("https://%s.%s/prometheus/%s/%s/api/v1/write", *project, *endpoint, *project, *metricStore)
	timestamp := time.Now().UnixNano()
	timeSeries := []prompb.TimeSeries{
		{
			Labels: []prompb.Label{
				{Name: "__name__", Value: "test_metric"},
				{Name: "app", Value: "HOST"},
				{Name: "device", Value: "vda"},
			},
			Samples: []prompb.Sample{
				{Timestamp: timestamp / 1000000, Value: 100},
				{Timestamp: timestamp/1000000 + 10000, Value: 200},
				{Timestamp: timestamp/1000000 + 20000, Value: 400},
				{Timestamp: timestamp/1000000 + 30000, Value: 300},
			},
		},
		{
			Labels: []prompb.Label{
				{Name: "__name__", Value: "test_metric"},
				{Name: "app", Value: "HOST"},
				{Name: "device", Value: "vda"},
				{Name: "uid", Value: "123456"},
			},
			Samples: []prompb.Sample{
				{Timestamp: timestamp / 1000000, Value: 100},
				{Timestamp: timestamp/1000000 + 10000, Value: 200},
				{Timestamp: timestamp/1000000 + 20000, Value: 400},
				{Timestamp: timestamp/1000000 + 30000, Value: 600},
			},
		},
	}
	data, _ := proto.Marshal(&prompb.WriteRequest{Timeseries: timeSeries})
	bufBody := snappy.Encode(nil, data)
	rwR, err := http.NewRequest("POST", Url, ioutil.NopCloser(bytes.NewReader(bufBody)))
	rwR.Header.Add("Content-Encoding", "snappy")
	rwR.Header.Set("Content-Type", "application/x-protobuf")
	rwR.SetBasicAuth(*akId, *akKey) // 設定basic auth資訊。
	if err != nil {
		fmt.Println(err.Error())
		return
	}

	start := time.Now().UnixNano() / 1000000 //ms
	do, err := client.Do(rwR)
	end := time.Now().UnixNano() / 1000000 // ms
	if err != nil {
		panic(err)
	}
	status, result := parseResp(do)

	fmt.Println("status:", status, "result:", result, "duration:", end-start)
}

func parseResp(resp *http.Response) (status, data string) {
	defer resp.Body.Close()
	body, err := ioutil.ReadAll(resp.Body) // 需要讀完body內容。
	if err != nil {
		panic(err)
	}
	return resp.Status, string(body)
}

SDK樣本

通過HTTP方式訪問查詢API

import (
	"flag"
	"fmt"
	"io/ioutil"
	"net/http"
	"net/url"
	"strconv"
	"strings"
	"time"
)

const separator = "#"

func http_main() {

	project := flag.String("project", "xxxx", "")
	metricStore := flag.String("metricstore", "xxxx", "")
	endpoint := flag.String("endpoint", "xxxx", "")
	akId := flag.String("akid", "xxxx", "")
	akKey := flag.String("aksecret", "xxxx", "")
	query := flag.String("query", "avg(up)", "")
	queryType := flag.String("type", "values", "range or query or labels or values or series")
	matches := flag.String("match", "up", "") // 多個match[]參數使用#進行串連。
	labelName := flag.String("label", "instance", "")
	step := flag.String("step", "1m", "")
	fromtime := flag.String("from", "2023-02-15T00:00:00Z", "time 2006-01-02T15:04:05Z07:00")
	totime := flag.String("to", "2023-02-15T00:15:00Z", "time 2006-01-02T15:04:05Z07:00")

	flag.Parse()

	timeFrom, err := time.Parse(time.RFC3339, *fromtime)
	if err != nil {
		panic(err)
	}
	timeTo, err := time.Parse(time.RFC3339, *totime)
	if err != nil {
		panic(err)
	}

	// URL:https://{project}.{sls-enpoint}/prometheus/{project}/{metricstore}
	prometheusEndpoint := fmt.Sprintf("https://%s/prometheus/%s/%s", *project+"."+*endpoint, *project, *metricStore)

	var uri string
	urlVal := url.Values{}
	urlVal.Add("start", strconv.FormatInt(timeFrom.Unix(), 10))
	urlVal.Add("end", strconv.FormatInt(timeTo.Unix(), 10))

	switch *queryType {
	case "range":
		urlVal.Add("query", *query)
		urlVal.Add("step", *step)
		uri = fmt.Sprintf("%s/api/v1/query_range?%v", prometheusEndpoint, urlVal.Encode())
	case "query":
		urlVal.Add("query", *query)
		urlVal.Add("time", strconv.FormatInt(timeTo.Unix(), 10))
		uri = fmt.Sprintf("%s/api/v1/query?%v", prometheusEndpoint, urlVal.Encode())
	case "labels":
		extractAddMatches(*matches, urlVal)
		uri = fmt.Sprintf("%s/api/v1/labels?%v", prometheusEndpoint, urlVal.Encode())
	case "values":
		extractAddMatches(*matches, urlVal)
		uri = fmt.Sprintf("%s/api/v1/label/%s/values?%v", prometheusEndpoint, *labelName, urlVal.Encode())
	case "series":
		extractAddMatches(*matches, urlVal)
		uri = fmt.Sprintf("%s/api/v1/series?%v", prometheusEndpoint, urlVal.Encode())
	}

	req, _ := http.NewRequest(http.MethodGet, uri, nil)
	req.SetBasicAuth(*akId, *akKey)

	resp, err := http.DefaultClient.Do(req)
	if err != nil {
		panic(err)
	}
	buf, err := ioutil.ReadAll(resp.Body)
	resp.Body.Close()
	if err != nil {
		panic(err)
	}

	fmt.Println(string(buf))

}

func extractAddMatches(matches string, uVal url.Values) {
	splits := strings.Split(matches, separator)
	for _, match := range splits {
		uVal.Add("match[]", match)
	}
}

通過Prometheus SDK訪問查詢API

本樣本基於Prometheus client_golangv1.14.0版本。

import (
	"context"
	"flag"
	"fmt"
	"github.com/prometheus/client_golang/api"
	v1 "github.com/prometheus/client_golang/api/prometheus/v1"
	"net"
	"net/http"
	"net/url"
	"time"
)

func main() {
	project := flag.String("project", "xxxx", "")
	metricStore := flag.String("metricstore", "xxxx", "")
	endpoint := flag.String("endpoint", "xxxx", "")
	akId := flag.String("akid", "xxxx", "")
	akKey := flag.String("aksecret", "xxxx", "")
	flag.Parse()

	// URL:https://{project}.{sls-enpoint}/prometheus/{project}/{metricstore}
	prometheusEndpoint := fmt.Sprintf("https://%s.%s/prometheus/%s/%s", *project, *endpoint, *project, *metricStore)

	client, err := api.NewClient(api.Config{
		Address: prometheusEndpoint,
		RoundTripper: &http.Transport{
			// set basic auth
			Proxy: func(req *http.Request) (*url.URL, error) {
				req.SetBasicAuth(*akId, *akKey)
				return nil, nil
			},
			DialContext: (&net.Dialer{
				Timeout:   60 * time.Second,
				KeepAlive: 60 * time.Second,
			}).DialContext,
			TLSHandshakeTimeout: 10 * time.Second,
		},
	})
	if err != nil {
		panic(err)
	}

	v1api := v1.NewAPI(client)
	ctx, _ := context.WithTimeout(context.Background(), 60*time.Second)
	r := v1.Range{
		Start: time.Now().Add(-15 * time.Minute),
		End:   time.Now(),
		Step:  time.Minute,
	}
	// query range
	result, warnings, err := v1api.QueryRange(ctx, "avg(up)", r)
	if err != nil {
		panic(err)
	}
	if len(warnings) > 0 {
		fmt.Printf("Warnings: %v %v\n", warnings, result)
	}
	fmt.Println(result)

	// query
	result, warnings, err = v1api.Query(ctx, "avg(up)", time.Now())
	if err != nil {
		panic(err)
	}
	if len(warnings) > 0 {
		fmt.Printf("Warnings: %v %v\n", warnings, result)
	}
	fmt.Println(result)

	// series
	series, warnings, err := v1api.Series(ctx, []string{"up"}, time.Now().Add(-15*time.Minute), time.Now())
	if err != nil {
		panic(err)
	}
	if len(warnings) > 0 {
		fmt.Printf("Warnings: %v %v\n", warnings, result)
	}
	fmt.Println(series)

	// labels
	names, warnings, err := v1api.LabelNames(ctx, []string{"up"}, time.Now().Add(-15*time.Minute), time.Now())
	if err != nil {
		panic(err)
	}
	if len(warnings) > 0 {
		fmt.Printf("Warnings: %v %v\n", warnings, result)
	}
	fmt.Println(names)

	// labelValues
	values, warnings, err := v1api.LabelValues(ctx, "instance", []string{"up"}, time.Now().Add(-15*time.Minute), time.Now())
	if err != nil {
		panic(err)
	}
	if len(warnings) > 0 {
		fmt.Printf("Warnings: %v %v\n", warnings, result)
	}
	fmt.Println(values)
}

響應結構

查詢API和寫入API的響應結構如下:

{
  "status": "success" | "error",
  "data": <data>,

  // 執行查詢分析出現錯誤時,返回以下兩項內容。
  "errorType": "<string>",
  "error": "<string>",
  
	// 返回警告資訊,一般為查詢不完整問題。
  "warnings": ["<string>"]
}

錯誤處理

常見的錯誤處理如下所示。

鑒權失敗

返回如下資訊時,表示鑒權失敗,請修改您輸入的AccessKey。

{
    "status": "error",
    "errorType": "unauthorized",
    "error": "get query instance error: {\n    \"httpCode\": 401,\n    \"errorCode\": \"Unauthorized\",\n    \"errorMessage\": \"AccessKeyId not found: xxxx\",\n    \"requestID\": \"xxxx\"\n}"
}

PromQL語句存在錯誤

返回如下資訊時,表示PromQL語句存在錯誤,請修改query參數中的查詢語句。

--> /api/v1/query_range?query=up[2m]&start=1676700599&end=1676700999&step=60s
{
    "status": "error",
    "errorType": "bad_data",
    "error": "invalid expression type \"range vector\" for range query, must be Scalar or instant Vector"
}

逾時錯誤

返回如下資訊時,表示逾時錯誤,請調高timeout參數的值。

{
    "status": "error",
    "errorType": "timeout",
    "error": "query timed out in expression evaluation"
}

查詢不完整

返回如下資訊時,表示查詢不完整,建議縮小查詢時間範圍,重新查詢。

{
    "status": "success",
    "data": {
        "resultType": "matrix",
        "result": [
            {
                "metric": {},
                "values": [
                    [
                        1673798460,
                        "11111111"
                    ],
                    [
                        1673799060,
                        "22222222"
                    ],
                    [
                        1673799660,
                        "33333333"
                    ]
                ]
            }
        ]
    },
    "warnings": [
        "Request to Sls partial incompleted, incomplete task count : 11, total : 108"
    ]
}