Simple Log Service:データの複製と配布

シナリオ

データ分析会社は、ソースLogstoreからすべてのログエントリを複製し、ログエントリを2つの宛先Logstoreに配布したいと考えています。 Simple Log Serviceのレプリケーションおよび配布機能により、企業はe_set関数を使用してタグを指定し、e_split関数を使用して指定されたタグに基づいてログエントリを分類し、e_output関数を使用してログエントリの各カテゴリをカテゴリのタグと一致する宛先Logstoreに配布できます。 次の図は、プロセスの基本ロジックを示しています。 開始する前に、次の操作が完了していることを確認してください。

• target-aとtarget-bという名前の2つの保存先のパフォーマンスを評価します。 たとえば、各格納先のシャード数を評価します。 詳細については、「パフォーマンスガイド」をご参照ください。

• target-aとtarget-bという名前の2つのプロジェクトを作成します。 次に、logstore-aとlogstore-bという名前の2つのlogstoreを作成します。 詳細については、「プロジェクトの管理」および「Logstoreの管理」をご参照ください。

手順

1. Simple Log Serviceコンソール.

2. [プロジェクト] セクションで、管理するプロジェクトをクリックします。

   

3. 左側のナビゲーションウィンドウで、[ログストレージ] をクリックします。 Logstoreリストで、管理するLogstoreをクリックします。

   

4. 表示されるページの左上隅で、データ変換.

5. 表示されるコードエディターで、次のデータ変換ステートメントを入力します。

   e_set("tags", "target-a,target-b")
   e_split("tags")
   e_if(op_eq(v("tags"), "target-a"), e_output("target-a"))
   e_if(op_eq(v("tags"), "target-b"), e_output("target-b"))
   e_drop()

   • e_set関数を使用して、rawログエントリのタグとしてtarget-aとtarget-bを指定します。 詳細は、「e_set」をご参照ください。

   • e_split関数を使用して、指定したタグに基づいて生のログエントリを分類します。 詳細については、「e_split」をご参照ください。

   • e_output関数を使用して、e_split関数によって分類されたログエントリをtarget-aおよびtarget-bの格納先に配布します。 詳細については、「e_output」をご参照ください。

   • e_drop() 関数を使用して条件を指定します。 ログエントリが指定された条件を満たさない場合、ログエントリは破棄され、配布されません。 詳細については、「e_drop」をご参照ください。

6. データのプレビュー.

   [変換結果] タブで、指定されたタグが生のログエントリに追加されます。 target-aタグを含む生ログエントリはtarget-aの格納先に配布され、target-bタグを含む生ログエントリはtarget-bの格納先に配布されます。

7. 変換ジョブとして保存.

8. [データ変換ジョブの作成] パネルで、パラメーターを設定します。 次の表にパラメーターを示します。

   1. 基本パラメータを設定します。

      パラメーター	説明
      ジョブ名	データ変換ジョブの名前。 この例では、ジョブの名前はtestです。
      権限付与方法	Simple Log ServiceがソースLogstoreからデータを読み取ることを許可するために使用されるメソッド。 この例では、デフォルトロールが選択されています。

   2. ターゲット (ストレージの宛先) のパラメーターを設定します。

      パラメーター	説明
      宛先名	保存先の名前。 この例では、保存先の名前はtarget-aです。
      宛先リージョン	ターゲットプロジェクトが存在するリージョン。 この例では、中国 (杭州) が選択されています。
      宛先プロジェクト	ターゲットプロジェクトの名前。 この例では、保存先の名前はtarget-aです。
      ターゲットストア	宛先Logstoreの名前。 この例では、宛先Logstoreの名前はlogstore-aです。
      権限付与方法	Simple Log Serviceにtarget-aからのデータの読み取りおよび書き込みを許可するために使用されるメソッド。 この例では、デフォルトロールが選択されています。

   3. target-bの格納先のパラメーターを設定します。

      パラメーター	説明
      宛先名	保存先の名前。 この例では、保存先の名前はtarget-bです。
      宛先リージョン	ターゲットプロジェクトが存在するリージョン。 この例では、中国 (杭州) が選択されています。
      宛先プロジェクト	ターゲットプロジェクトの名前。 この例では、ターゲットプロジェクトの名前はtarget-bです。
      ターゲットストア	宛先Logstoreの名前。 この例では、宛先Logstoreの名前はlogstore-bです。
      権限付与方法	Simple Log Serviceにtarget-bからのデータの読み取りと書き込みを許可するために使用されるメソッド。 この例では、デフォルトロールが選択されています。

   4. [データ変換の時間範囲] セクションでパラメーターを設定します。

      パラメーター	説明
      時間範囲	データ変換の時間範囲。 [すべて] を選択した場合、Simple Log ServiceはソースLogstore内のすべてのログエントリを変換します。

9. OK.