全部產品
Search

搜尋本產品

    Simple Log Service：通過PackId機制關聯日誌上下文

    文件中心

    Simple Log Service：通過PackId機制關聯日誌上下文

    更新時間：Oct 29, 2024

    日誌上下文查詢用於指定日誌來源（例如，特定的機器和檔案），並尋找該來源中某條日誌的前後若干條日誌，以擷取其上下文資訊。在處理大量日誌時，可通過為日誌添加標識符 PackId 將相關日誌進行分組。使用 PackId 可以快速且完整地查詢相關日誌組，從而高效定位日誌的上下文。本文介紹如何為日誌添加PackId。

    工作原理

    服務端利用PackId機制關聯日誌上下文，PackId格式為上下文首碼-日誌組ID，例如 5FA51423DDB54FDA-1E3。說明如下：

    • 上下文首碼：由大寫字母和數字組成，例如 5FA51423DDB54FDA。相同上下文首碼表示屬於同一日誌上下文。

    • 日誌組ID：由大寫的十六進位數字表示。例如 1E3。在同一日誌上下文內，日誌組ID 是遞增的，例如 1E3 與 1E4屬於同一日誌內容相關的相鄰日誌組。

    PackId是由用戶端產生的，並在日誌寫入請求時一同發送到服務端。具有相同上下文首碼的日誌被認為屬於同一日誌上下文。

    自動產生PackId

    • 使用Producer SDK寫入的日誌：由同一Producer對象執行個體發送的日誌資料屬於同一上下文，可以直接用於上下文查詢。例如，當使用Aliyun Log Java Producer寫入日誌資料或C SDK寫入日誌時，系統會自動產生並攜帶PackId作為上下文標識。

    • 通過Logtail採集的日誌：使用Logtail採集的日誌會自動產生並攜帶PackId，同一採集對象（如主機、pod等）上的同一記錄檔屬於同一上下文，可以直接用於上下文查詢。

    手動產生PackId並通過PutLogs介面上傳

    參數說明

    PutLogs - 寫入日誌介面用於將日誌寫入Log Service。在手動產生PackId後，需將該PackId放置在PutLogs請求中的LogGroup的LogTags屬性裡，其中Key設定為__pack_id__，參數樣本如下：

    {
  "Topic": "my-topic",
  "Source": "127.0.0.1",
  "LogTags": [
      {
        "Key": "__pack_id__",
        "Value": "5FA51423DDB54FDA-1"
      },
      {
        "Key": "my_other_tag_key",
        "Value": "my_other_tag_value"
      }
   ],
   "Logs": [
     {
       "Time": 1728961415,
        "Contents": [
            {
              "Key": "hello",
              "Value": "world"
            }
        ]
     }
   ]
}

    範例程式碼

    Java樣本

    1. 在pom.xml檔案中添加如下依賴。

       <dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>27.0.1-jre</version>
</dependency>
<dependency>
    <groupId>com.aliyun.openservices</groupId>
    <artifactId>aliyun-log</artifactId>
    <version>0.6.111</version>
</dependency>
<dependency>
    <groupId>org.slf4j</groupId>
    <artifactId>slf4j-api</artifactId>
    <version>2.0.12</version>
</dependency>

    2. 使用如下代碼，手動產生PackId並通過PutLogs介面上傳。根據實際情況替換參數project、logstore、endpoint、accessKeyId和accessKeySecret。

      package org.example;

import com.aliyun.openservices.log.Client;
import com.aliyun.openservices.log.common.LogItem;
import com.aliyun.openservices.log.common.TagContent;
import com.aliyun.openservices.log.exception.LogException;
import com.aliyun.openservices.log.request.PutLogsRequest;
import com.google.common.base.Charsets;
import com.google.common.hash.Hashing;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.lang.management.ManagementFactory;
import java.net.InetAddress;
import java.net.NetworkInterface;
import java.net.SocketException;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.Enumeration;
import java.util.List;
import java.util.concurrent.atomic.AtomicLong;

public class Main {
    private static final String TAG_PACK_ID = "__pack_id__";
    private static final int TOKEN_LEN = 4;

    public static void main(String[] args) throws LogException {
        System.out.println("Hello world!");
        // 同一個上下文只需要使用同一個 PackIdGenerator 就可以了
        PackIdGenerator generator1 = new PackIdGenerator();
        System.out.println(generator1.generateNewPackId());
        System.out.println(generator1.generateNewPackId());
        System.out.println(generator1.generateNewPackId());
        // 不同的上下文用不同的 PackIdGenerator
        PackIdGenerator generator2 = new PackIdGenerator();
        System.out.println(generator2.generateNewPackId());
        System.out.println(generator2.generateNewPackId());

        // 與日誌相配合
        String project = "project";
        String logstore = "logstore";
        String topic = "topic";
        String source = "127.0.0.1";
        Client client = new Client("endpoint", "accessKeyId", "accessKeySecret");
        List<LogItem> logs = new ArrayList<>();
        LogItem log = new LogItem();
        log.PushBack("hello", "world");
        logs.add(log);

        // 發送日誌請求
        PutLogsRequest req = new PutLogsRequest(project, logstore, topic, source, logs);
        // 把 pack id 放在 tag 列表裡
        req.SetTags(Arrays.asList(new TagContent(TAG_PACK_ID, generator1.generateNewPackId())));
        client.PutLogs(req);

        // 發送日誌請求
        PutLogsRequest req2 = new PutLogsRequest(project, logstore, topic, source, logs);
        req.SetTags(Arrays.asList(new TagContent(TAG_PACK_ID, generator1.generateNewPackId())));
        client.PutLogs(req2);
    }

    public static class NetworkUtils {
        private NetworkUtils() {
        }

        public static boolean isIpAddress(final String ipAddress) {
            if (ipAddress == null || ipAddress.isEmpty()) {
                return false;
            }
            try {
                final String[] tokens = ipAddress.split("\\.");
                if (tokens.length != TOKEN_LEN) {
                    return false;
                }
                for (String token : tokens) {
                    int i = Integer.parseInt(token);
                    if (i < 0 || i > 255) {
                        return false;
                    }
                }
                return true;
            } catch (Exception ex) {
                return false;
            }
        }

        public static String getLocalMachineIp() {
            try {
                Enumeration<NetworkInterface> networkInterfaces = NetworkInterface.getNetworkInterfaces();
                while (networkInterfaces.hasMoreElements()) {
                    NetworkInterface ni = networkInterfaces.nextElement();
                    if (!ni.isUp()) {
                        continue;
                    }
                    Enumeration<InetAddress> addresses = ni.getInetAddresses();
                    while (addresses.hasMoreElements()) {
                        final InetAddress address = addresses.nextElement();
                        if (!address.isLinkLocalAddress() && address.getHostAddress() != null) {
                            String ipAddress = address.getHostAddress();
                            if ("127.0.0.1".equals(ipAddress)) {
                                continue;
                            }
                            if (isIpAddress(ipAddress)) {
                                return ipAddress;
                            }
                        }
                    }
                }
            } catch (SocketException ex) {
                // swallow it
            }
            return null;
        }
    }

    public static class PackIdGenerator {
        private static final Logger LOGGER = LoggerFactory.getLogger(PackIdGenerator.class);
        private static final AtomicLong GENERATORID = new AtomicLong(0);
        private final String packIdPrefix;
        private final AtomicLong batchId = new AtomicLong(0);

        public PackIdGenerator() {
            packIdPrefix = generatePackIdPrefix(GENERATORID.getAndIncrement()).toUpperCase() + "-";
        }

        public String generateNewPackId() {
            return packIdPrefix + Long.toHexString(batchId.getAndIncrement()).toUpperCase();
        }

        private String generatePackIdPrefix(Long instanceId) {
            String ip = NetworkUtils.getLocalMachineIp();
            if (ip == null) {
                LOGGER.warn("Failed to get local machine ip, set ip to 127.0.0.1");
                ip = "127.0.0.1";
            }
            String name = ManagementFactory.getRuntimeMXBean().getName();
            String input = ip + "-" + name + "-" + instanceId;
            return Hashing.farmHashFingerprint64().hashString(input, Charsets.US_ASCII).toString();
        }
    }

}

      範例程式碼中的參數說明

      參數名

      參數含義

      樣本值

      project

      Log Service的Project名。

      test-project

      logstore

      Log Service的Logstore名。

      test-logstore

      endpoint

      Log Service的公網網域名稱，擷取方式請參見服務存取點。

      cn-hangzhou.log.aliyuncs.com

      accessKeyId

      使用者身份識別ID，擷取方式，請參見建立AccessKey。

      LTAI5tK*******

      accessKeySecret

      用於驗證您擁有該AccessKey ID的密碼。擷取方式，請參見建立AccessKey。

      3k5PJm*******

    Go樣本

    1. 在命令列執行如下命令，安裝Go SDK和protobuf依賴包。

      go get -u github.com/aliyun/aliyun-log-go-sdk
go get google.golang.org/protobuf

    2. 使用如下代碼，手動產生PackId並通過PutLogs介面上傳。根據實際情況替換參數project、logstore、endpoint、accessKeyId和accessKeySecret。

      package main

import (
	"crypto/md5"
	"fmt"
	"os"
	"sync/atomic"
	"time"

	sls "github.com/aliyun/aliyun-log-go-sdk"
	"google.golang.org/protobuf/proto"
)

func main() {
	// 同一個上下文只需要使用同一個 PackIdGenerator 就可以了
	g1 := NewPackIdGenerator()
	fmt.Println(g1.Generate())
	fmt.Println(g1.Generate())
	fmt.Println(g1.Generate())
	// 不同的上下文用不同的 PackIdGenerator
	g2 := NewPackIdGenerator()
	fmt.Println(g2.Generate())
	fmt.Println(g2.Generate())

	// 與日誌相配合
	project := "project"
	logstore := "logStore"
	topic := "topic"
	source := "source"

	client := sls.CreateNormalInterface("endpoint", "accessKeyId", "accessKeySecret", "")

	logs := []*sls.Log{
		{
			Time: proto.Uint32(uint32(time.Now().Unix())),
			Contents: []*sls.LogContent{
				{
					Key:   proto.String("hello"),
					Value: proto.String("world"),
				},
				{
					Key:   proto.String("hi"),
					Value: proto.String("world"),
				},
			},
		},
	}
	// 使用 PostLogStoreLogsV2 介面寫入日誌
	err := client.PostLogStoreLogsV2(project, logstore, &sls.PostLogStoreLogsRequest{
		LogGroup: &sls.LogGroup{
			Topic:  &topic,
			Source: &source,
			Logs:   logs,
			LogTags: []*sls.LogTag{
				{
					Key:   proto.String("__pack_id__"), // pack id 加到 tag 列表裡
					Value: proto.String(g1.Generate()),
				},
			},
		},
	})
	if err != nil {
		panic(err)
	}

	// 使用 PutLogs 介面寫入日誌， g1.Generate() 重建一個新的 packid
	err = client.PutLogs(project, logstore, &sls.LogGroup{
		Topic:  &topic,
		Source: &source,
		Logs:   logs,
		LogTags: []*sls.LogTag{
			{
				Key:   proto.String("__pack_id__"), // pack id 加到 tag 列表裡
				Value: proto.String(g1.Generate()),
			},
		},
	})
	if err != nil {
		panic(err)
	}

}

type PackIdGenerator struct {
	prefix string
	id     atomic.Uint64
}

func NewPackIdGenerator() *PackIdGenerator {
	return &PackIdGenerator{
		prefix: generatePackIDPrefix(),
		id:     atomic.Uint64{},
	}
}

func (g *PackIdGenerator) Generate() string {
	return fmt.Sprintf("%s-%X", g.prefix, g.id.Add(1))
}

// make context by (hostname, pid, time)
func generatePackIDPrefix() string {
	m := md5.New()
	m.Write([]byte(time.Now().String()))
	hostName, _ := os.Hostname()
	m.Write([]byte(hostName))
	m.Write([]byte(fmt.Sprintf("%v", os.Getpid())))
	return fmt.Sprintf("%X", m.Sum(nil))
}

      範例程式碼中的參數說明

      參數名

      參數含義

      樣本值

      project

      Log Service的Project名。

      test-project

      logstore

      Log Service的Logstore名。

      test-logstore

      endpoint

      Log Service的公網網域名稱，擷取方式請參見服務存取點。

      cn-hangzhou.log.aliyuncs.com

      accessKeyId

      使用者身份識別ID，擷取方式，請參見建立AccessKey。

      LTAI5tK*******

      accessKeySecret

      用於驗證您擁有該AccessKey ID的密碼。擷取方式，請參見建立AccessKey。

      3k5PJm*******

    查看日誌上下文資訊

    1. 在目標Project頁面，單擊目標Logstore，參考下圖，在原始日誌 > 原始頁簽下，找到目標日誌，單擊查詢日誌-004表徵圖。

      說明

      每次通過PutLogs - 寫入日誌提交的日誌中，具有相同PackId上下文首碼的日誌被視為屬於同一日誌上下文。Log Service內部已根據PackId進行分類，單擊上下文瀏覽功能即可查看指定日誌的上下文資訊，即顯示具有同一上下文首碼的不同日誌組，其中高亮代表目標日誌。

      image

    2. 使用滑鼠在當前頁面上下滾動查看指定日誌的上下文資訊。

      image

    相關文檔