Simple Log Service:データ変換ジョブの作成

手順

1. Simple Log Serviceコンソール.

2. データ変換ページに移動します。

   1. [プロジェクト] セクションで、管理するプロジェクトをクリックします。

   2. ログストレージ > ログストアタブで、管理するLogstoreをクリックします。

   3. クエリと分析ページで、データ変換.

3. 表示されるページの右上隅で、管理するデータの時間範囲を指定します。

   時間範囲を指定したら、[生ログ] タブにログが表示されることを確認します。

4. コードエディターで、データ変換ステートメントを入力します。

   ステートメントの構文の詳細については、「言語紹介」をご参照ください。

5. データをプレビューします。

   1. クイック.

      [クイック] または [詳細] を選択できます。 詳細については、「プレビューモードの概要」をご参照ください。

   2. クリックデータのプレビュー.

      結果を表示します。

      • 指定されたステートメントが無効であるか、付与された権限が無効であるためにデータの変換に失敗した場合は、画面の指示に従って障害のトラブルシューティングを行います。

      • 変換されたデータが期待どおりに返された場合は、ステップ6に進みます。

6. データ変換ジョブを作成します。

   1. クリック変換ジョブとして保存 (旧バージョン).

   2. [データ変換ジョブの作成] パネルでパラメーターを設定し、[OK] をクリックします。 下表にパラメーターを示します。

      パラメーター	説明
      ジョブ名	データ変換ジョブの名前。
      表示名	データ変換ジョブの表示名。
      ジョブの説明	データ変換ジョブの説明。
      権限付与方法	データ変換ジョブがソースLogstoreからデータを読み取ることを許可するために使用されるメソッド。 デフォルトロール: データ変換ジョブは、ソースLogstoreからデータを読み取るためにAliyunLogETLRoleシステムロールを引き受けます。 カスタムロール: データ変換ジョブは、ソースLogstoreからデータを読み取るためのカスタムロールを想定しています。 ソースLogstoreから読み取る権限をカスタムロールに付与する必要があります。 次に、[ロールARN] フィールドにカスタムロールのAlibaba Cloudリソース名 (ARN) を入力する必要があります。 詳細については、「カスタムロールを使用したデータへのアクセス」をご参照ください。 AccessKeyペア: データ変換ジョブは、Alibaba CloudアカウントまたはRAMユーザーのAccessKeyペアを使用して、ソースLogstoreからデータを読み取ります。 Alibaba Cloudアカウント: Alibaba CloudアカウントのAccessKeyペアには、ソースLogstoreから読み取る権限があります。 AccessKey IDおよびAccessKey secretフィールドに、Alibaba CloudアカウントのAccessKey IDおよびAccessKey Secretを直接入力できます。 AccessKeyペアを取得する方法の詳細については、「AccessKeyペア」をご参照ください。 RAMユーザー: ソースLogstoreから読み取る権限をRAMユーザーに付与する必要があります。 次に、AccessKey IDおよびAccessKey secretフィールドに、RAMユーザーのAccessKey IDおよびAccessKey Secretを入力できます。 詳細については、「AccessKeyペアを使用したデータへのアクセス」をご参照ください。
      保存先
      宛先名	保存先の名前。 [ストレージの宛先] セクションでは、宛先プロジェクトやターゲットストアなどのパラメーターを設定する必要があります。 複数の保存先を作成して、変換されたデータを異なる保存先ログストアに保存できます。 変換文でe_outputまたはe_coutput関数のnameパラメーターを使用して、保存先の名前を指定できます。 詳細は、「e_outputおよびe_coutput」をご参照ください。 変換ステートメントにe_output関数を含めない場合、ジョブは変換されたデータを、デフォルトで1番の格納先のLogstoreに書き込みます。 1つの宛先Logstoreのみを設定する場合は、変換ステートメントにe_output関数を含める必要はありません。 e_output関数またはe_coutput関数を含め、関数のname、project、logstoreパラメーターを設定すると、この手順でDestination ProjectパラメーターとTarget Storeパラメーターを設定しても、関数のパラメーター設定に基づいてジョブが実行されます。
      宛先リージョン	ターゲットLogstoreが属するプロジェクトのリージョン。 リージョン間でデータ変換を実行する場合は、データ送信にHTTPSを使用することを推奨します。 これにより、ログデータのプライバシーが確保されます。 クロスリージョンデータ変換の場合、データはインターネットを介して送信されます。 インターネット接続が不安定な場合、データ変換の待ち時間が存在する可能性があります。 DCDNアクセラレーションを選択すると、クロスリージョンデータ送信を高速化できます。 DCDNアクセラレーションを選択する前に、ターゲットプロジェクトでグローバルアクセラレーション機能が有効になっていることを確認してください。 詳細については、「ログ収集の高速化」をご参照ください。 説明 データがインターネット経由でリージョン間で送信されると、生成されたトラフィックに対して課金されます。 トラフィック量は、圧縮後のデータサイズに基づいて計算されます。 詳細については、「機能課金の課金項目」をご参照ください。
      宛先プロジェクト	ターゲットLogstoreが属するプロジェクトの名前。
      ターゲットストア	変換されたデータを格納する宛先Logstoreの名前。
      権限付与方法	変換されたデータを宛先Logstoreに書き込むために、データ変換ジョブを許可するために使用されるメソッド。 デフォルトの役割: データ変換ジョブは、変換されたデータを宛先Logstoreに書き込むためにAliyunLogETLRoleシステムの役割を引き受けます。 カスタムロール: データ変換ジョブは、変換されたデータを宛先Logstoreに書き込むためのカスタムロールを引き受けます。 カスタムロールに、宛先Logstoreに書き込む権限を付与する必要があります。 次に、[ロールARN] フィールドにカスタムロールのARNを入力する必要があります。 詳細については、「カスタムロールを使用したデータへのアクセス」をご参照ください。 AccessKeyペア: データ変換ジョブは、Alibaba CloudアカウントまたはRAMユーザーのAccessKeyペアを使用して、変換されたデータを宛先Logstoreに書き込みます。 Alibaba Cloudアカウント: Alibaba CloudアカウントのAccessKeyペアには、宛先Logstoreへの書き込み権限があります。 AccessKey IDおよびAccessKey secretフィールドに、Alibaba CloudアカウントのAccessKey IDおよびAccessKey Secretを直接入力できます。 AccessKeyペアを取得する方法の詳細については、「AccessKeyペア」をご参照ください。 RAMユーザー: RAMユーザーに、宛先Logstoreへの書き込み権限を付与する必要があります。 次に、AccessKey IDおよびAccessKey secretフィールドに、RAMユーザーのAccessKey IDおよびAccessKey Secretを入力できます。 詳細については、「AccessKeyペアを使用したデータへのアクセス」をご参照ください。
      データ変換の時間範囲
      時間範囲	変換されるデータの時間範囲。 説明 時間範囲は、ログが受信された時間によって異なります。 すべて: ジョブは、ジョブが手動で停止されるまで、最初のログからソースLogstoreのデータを変換します。 [特定の時間から]: ジョブは、指定された開始時間に受信されたログから、ジョブが手動で停止されるまで、ソースLogstore内のデータを変換します。 指定期間内: ジョブは、ソースLogstore内のデータを、指定された開始時刻に受信したログから、指定された終了時刻に受信したログに変換します。
      高度なオプション
      高度なパラメーター設定	変換文でデータベースパスワードなどのパスワードを指定する必要がある場合があります。 Simple Log Serviceでは、キーと値のペアを追加してパスワードを保存できます。 パスワードを参照するには、ステートメントでres_local("key") を指定します。 [+] アイコンをクリックすると、キーと値のペアを追加できます。 たとえば、config.vpc.vpc_id.test1:vpc-uf6mskb0b **** n9yjを追加して、ApsaraDB RDSインスタンスが属する仮想プライベートクラウド (VPC) のIDを示すことができます。