高度なプレビュー - Simple Log Service - Alibaba Cloud ドキュメントセンター

In Advanced preview mode, Log Service accesses the specified Logstore and reads data from the Logstore to test the data and simulate the data transformation process. This topic describes how to configure the Advanced preview mode.

手順

Log Serviceコンソールにログインします。
データ変換ページに移動します。
1. [プロジェクト] セクションで、管理するプロジェクトをクリックします。
2. On theログストレージ > ログストアタブで、管理するLogstoreをクリックします。
3. クエリと分析ページで、データ変換.
表示されるページの右上隅で、管理するデータの時間範囲を指定します。
時間範囲を指定したら、[生ログ] タブにログが表示されることを確認します。
編集ボックスに、データ変換ステートメントを入力します。
詳細については、「データ処理構文」をご参照ください。
説明
データ変換ステートメントにコメントを追加して、ステートメントを1行ずつデバッグできます。

データのプレビュー.

ページの右側で Advanced.をクリックします。
[データのプレビュー] をクリックします。

[プレビュー設定の追加] パネルでパラメーターを設定し、[OK] をクリックします。下表にパラメーターを示します。

初めてデータをプレビューするときは、パラメーターを設定する必要があります。パラメーターを設定したら、[プレビュー設定の変更] をクリックしてパラメーターを変更できます。

項目

説明

権限付与方法

次のいずれかの方法を使用して、現在のソースLogstoreからデータを読み取るためのデータ変換タスクを許可できます。

デフォルトロール: データ変換ジョブは、ソースLogstoreからデータを読み取るためにAliyunLogETLRoleシステムロールを引き受けます。
カスタムロール: データ変換ジョブは、ソースLogstoreからデータを読み取るためのカスタムロールを想定しています。
ソースLogstoreから読み取る権限をカスタムロールに付与する必要があります。次に、[ロールARN] フィールドにカスタムロールのAlibaba Cloudリソース名 (ARN) を入力する必要があります。詳細については、「カスタムロールを使用したデータへのアクセス」をご参照ください。
AccessKeyペア: データ変換ジョブは、Alibaba CloudアカウントまたはRAMユーザーのAccessKeyペアを使用して、ソースLogstoreからデータを読み取ります。
- Alibaba Cloudアカウント: Alibaba CloudアカウントのAccessKeyペアには、ソースLogstoreから読み取る権限があります。 AccessKey IDおよびAccessKey secretフィールドに、Alibaba CloudアカウントのAccessKey IDおよびAccessKey Secretを直接入力できます。 AccessKeyペアを取得する方法の詳細については、「AccessKeyペア」をご参照ください。
- RAMユーザー: ソースLogstoreから読み取る権限をRAMユーザーに付与する必要があります。次に、AccessKey IDおよびAccessKey secretフィールドに、RAMユーザーのAccessKey IDおよびAccessKey Secretを入力できます。詳細については、「AccessKeyペアを使用したデータへのアクセス」をご参照ください。

高度なパラメーター設定

Log Serviceでは、変換ステートメントで必要なパスワードをキーと値のペア形式で設定できます。たとえば、キーと値のペア形式でデータベースに接続するためのパスワードを設定できます。 ${key} 変数を使用して、変換ステートメントでパスワードを参照できます。

[+] アイコンをクリックすると、キーと値のペアを追加できます。たとえば、config.vpc.vpc_id.test1:vpc-uf6mskb0b **** n9yjを追加して、ApsaraDB RDSインスタンスが属する仮想プライベートクラウド (VPC) のIDを示すことができます。高级参数配置

プレビュー設定を設定した後、[変換結果] タブでデータ変換結果をプレビューできます。

変換ステートメントの構文または権限が無効であるためにデータの変換に失敗した場合は、プロンプトに従って失敗のトラブルシューティングを行います。
データが期待どおりに変換されている場合は、変換ステートメントをルールとして保存できます。詳細については、「データ変換ジョブの作成」をご参照ください。

高度なプレビューの例

Transformation statement

# e_set("insert_field", "test_value")
e_table_map(
    res_rds_mysql (
        address="rm-uf6wjk5 **** .mysql.rds.aliyuncs.com" 、
        username="test_username" 、
        password="****",
        database="test_db",
        table="test_table",
    ),
    "ip",
    ["country" 、"province"] 、)

生のログエントリ

{
  "__source__": "192.0.2.0" 、
  "__time__": 1624523917、
  "__topic__": "topic" 、
  "id": "1001" 、
  "ip": "127.0.0.1"
}

高度なプレビュー設定
変換結果