如何關聯外部資料源create_external_store - Simple Log Service

調用CLI命令關聯外部資料源。當前支援關聯RDS MySQL、OSS、本地CSV檔案作為外部資料源。

注意事項

說明

在進行日誌資料查詢分析時，日誌中的部分資訊需要和外部儲存（ExternalStore）的資訊進行關聯查詢，從而進一步豐富Log Service中的日誌資料。更多資訊，請參見關聯外部資料源簡介、關聯Logstore與OSS外表進行查詢和分析。

在使用CLI命令之前，您需要注意以下事項：

已開通Log Service。具體操作，請參見如何開始使用Log Service？。
已採集日誌。更多資訊，請參見資料擷取。
已開啟並配置索引。更多資訊，請參見建立索引。
確定關聯的外部資料源。
- 若是關聯OSS資料來源，則已經上傳CSV格式檔案到OSS Bucket。更多資訊，請參見控制台上傳檔案。
- 若是關聯RDS MySQL資料來源，則已經儲存資料到RDS MySQL資料庫，並已擷取RDS MySQL的執行個體ID、訪問網域名稱、連接埠、資料庫帳號和密碼等。更多資訊，請參見建立資料庫和帳號。
- 若是關聯本地CSV資料來源，則已經建立本地CSV檔案。更多資訊，請參見關聯託管的CSV資料來源。
已安裝Log ServiceCLI，並完成配置。具體操作，請參見安裝CLI和配置CLI。

命令格式

aliyunlog log create_external_store --project_name=<value> --config=<value> [--access-id=<value>] [--access-key=<value>] [--sts-token=<value>] [--region-endpoint=<value>] [--client-name=<value>] [--jmes-filter=<value>] [--format-output=<value>] [--decode-output=<value>] [--profile=<value>]

命令參數

該命令的必選和特有參數描述如下。

參數名稱

數實值型別

是否必選

樣本值

描述

--project_name

String

是

ali-test-project

Project名稱。

--config

String

是

file://./external_store_config.json

關聯外部資料源的設定檔路徑。您需要在執行該命令前，建立該檔案，指定外部儲存名稱、表的Schema、OSS訪問資訊或者RDS MySQL等資訊。

您可以參考命令樣本中說明建立該檔案。

關於該命令的全域參數，請參見全域參數。

命令樣本

通過CLI建立OSS外部資料源

建立external_store_config.json檔案，用於指定關聯OSS外部資料源，其內容樣本如下：

{
  "externalStoreName": "oss-store-demo",
  "storeType": "oss",
  "parameter": {
    "endpoint": "oss-cn-hangzhou.aliyuncs.com",
    "accessid": "your_accesskey_id",
    "accesskey": "your_accesskey_secret",
    "bucket": "doc-test",
    "objects": [
      "external-store-test/user.csv"
    ],
    "columns": [
      {
        "name": "userid",
        "type": "bigint"
      },
      {
        "name": "nick",
        "type": "varchar"
      },
      {
        "name": "gender",
        "type": "varchar"
      },
      {
        "name": "province",
        "type": "varchar"
      },
      {
        "name": "age",
        "type": "bigint"
      }
    ]
  }
}

該CSV檔案的內容樣本如下： user.csv 更多資訊，請參見關聯OSS資料來源和關聯Logstore與OSS外表進行查詢和分析。

使用預設帳號關聯一個名為oss-store-demo的外部資料源。

命令樣本

aliyunlog log create_external_store --project_name="ali-test-project" --config="file://./external_store_config.json"

返回樣本

命令執行成功後，無響應訊息。您可以執行aliyunlog log get_external_store --project_name="ali-test-project" --store_name="oss-store-demo" --format-output=json查詢OSS外部資料來源詳細資料。

{
  "externalStoreName": "oss-store-demo",
  "parameter": {
    "accessid": "your_accesskey_id",
    "accesskey": "your_accesskey_secret",
    "bucket": "doc-test",
    "columns": [
      {
        "name": "userid",
        "type": "bigint"
      },
      {
        "name": "nick",
        "type": "varchar"
      },
      {
        "name": "gender",
        "type": "varchar"
      },
      {
        "name": "province",
        "type": "varchar"
      },
      {
        "name": "age",
        "type": "bigint"
      }
    ],
    "endpoint": "oss-cn-hangzhou.aliyuncs.com",
    "objects": [
      "external-store-test/user.csv"
    ]
  },
  "storeType": "oss"
}

關聯外部資料源後，您可以在Log Service控制台通過查詢分析語句*|select * from oss-store-demo查詢關聯的OSS外部資料來源資料。 user.csv

通過CLI關聯RDS MySQL外部資料源

建立rds-mysql-external-store.json檔案，用於指定關聯RDS MySQL外部資料源，其內容樣本如下：

{
    "externalStoreName": "rds-vpc-mysql-store",
    "storeType": "rds-vpc",
    "parameter": {
        "region": "cn-hangzhou",
        "vpc-id": "vpc-bp1c******p6kgvv",
        "instance-id": "rm-bp1t4******rm76",
        "host": "rm-bp1******rm76.mysql.rds.aliyuncs.com",
        "port": "3306",
        "username": "testuser",
        "password": "******",
        "db": "dbtest",
        "table": "chiji_user"
    }
}

該table表的內容樣本如下： table 更多資訊，請參見關聯MySQL資料來源和關聯Logstore與MySQL資料庫進行查詢分析。

使用預設帳號關聯一個名為rds-vpc-mysql-store的外部資料源。

命令樣本

aliyunlog log create_external_store --project_name="ali-test-project" --config="file://./rds-mysql-external-store.json"

返回樣本

命令執行成功後，無響應訊息。您可以執行aliyunlog log get_external_store --project_name="ali-test-project" --store_name="rds-vpc-mysql-store" --format-output=json查詢RDS MySQL外部資料來源詳細資料。

{
    "externalStoreName": "rds-vpc-mysql-store",
    "parameter": {
        "db": "dbtest",
        "host": "rm-bp1******rm76.mysql.rds.aliyuncs.com",
        "instance-id": "rm-bp1t4******rm76",
        "port": "3306",
        "region": "cn-hangzhou",
        "table": "chiji_user",
        "timezone": "",
        "username": "testuser",
        "vpc-id": "vpc-bp1c******p6kgvv"
    },
    "storeType": "rds-vpc"
}

關聯外部資料源後，您可以在Log Service控制台通過查詢分析語句*|select * from rds-vpc-mysql-store查詢關聯的RDS MySQL外部資料來源資料。 table

通過CLI關聯本地CSV檔案外部資料源

建立external_store_config_local.json檔案，用於指定關聯本地CSV外部資料源，其內容樣本如下：

{
    "externalStoreName": "doctest-local-csvfile",
    "storeType": "csv",
    "parameter": {
        "endpoint": "cn-hangzhou.aliyuncs.com",
        "externalStoreCsvFile": "./user2.csv",
        "columns": [
            {"name": "userid", "type" : "bigint"},
            {"name": "nick", "type" : "varchar"},
            {"name": "gender", "type" : "varchar"},
            {"name": "province", "type" : "varchar"},
            {"name": "age", "type" : "bigint"}],
        "objects": "./user2.csv"
    }
}

該CSV檔案的內容樣本如下： user.csv 更多資訊，請參見關聯託管的CSV資料來源。

使用預設帳號關聯一個名為doctest-local-csvfile的外部資料源。

命令樣本

aliyunlog log create_external_store --project_name="ali-test-project" --config="file://./external_store_config_local.json"

返回樣本

命令執行成功後，無響應訊息。您可以執行aliyunlog log get_external_store --project_name="ali-test-project" --store_name="doctest-local-csvfile" --format-output=json查詢本地CSV檔案外部資料來源詳細資料。

{
  "externalStoreName": "doctest-local-csvfile",
  "parameter": {
    "accessid": "",
    "accesskey": "",
    "bucket": "",
    "columns": [
      {
        "name": "userid",
        "type": "bigint"
      },
      {
        "name": "nick",
        "type": "varchar"
      },
      {
        "name": "gender",
        "type": "varchar"
      },
      {
        "name": "province",
        "type": "varchar"
      },
      {
        "name": "age",
        "type": "bigint"
      }
    ],
    "endpoint": "",
    "objects": [
      "table.csv"
    ]
  },
  "storeType": "csv"
}

關聯外部資料源後，您可以在Log Service控制台通過查詢分析語句*|select * from doctest-local-csvfile查詢關聯的本地CSV檔案外部資料來源資料。 user.csv

Simple Log Service：create_external_store

注意事項

命令格式

命令參數

命令樣本

相關文檔