Simple Log Service:リソース関数を使用して増分データを取得する

リソースとデータサンプル

• シンプルなLog Serviceリソース

  • プロジェクト: client-Project

  • ソースLogstore: client-log

    次の図は、データサンプルを示しています。

    

  • 宛先ログストア: クライアント情報

• ApsaraDB RDSリソース

  • データベース: client-db

  • 表: クライアント

    次の図は、データサンプルを示しています。

    

  • データベースへの接続に使用されるアカウントのユーザー名とパスワード: testとtest1234 @ @ @

  • データベースのパブリックエンドポイント: rm-bp1k **** tp8o.mysql.rds.aliyuncs.com

手順

1. Simple Log Serviceコンソール.

2. データ変換ページに移動します。

   1. [プロジェクト] セクションで、client-projectプロジェクトを見つけてクリックします。

   2. [ログストレージ] > [ログストア] タブで、client-Log Logstoreを見つけてクリックします。

   3. クエリと分析ページで、データ変換.

3. 表示されるページの右上隅で、管理するデータの時間範囲を指定します。

   [生ログ] タブにデータが存在することを確認します。

4. エディターボックスに、データ変換ステートメントを入力します。

   パラメーターの詳細については、「res_rds_mysql」をご参照ください。

   e_table_map(
       res_rds_mysql(
           "rm-bp1k****tp8o.mysql.rds.aliyuncs.com",     
           "test",
           "test1234@@",
           "client-db",
           table="client",
           fields=["c_id", "name", "telephone", "update_time"],
           refresh_interval=1,
           primary_keys="c_id",
           update_time_key="update_time",
           deleted_flag_key=None,
       ),
       "c_id",
       ["name", "telephone"],
   )

5. クイックモードでデータをプレビューします。

   指定されたデータ変換ステートメントが有効かどうかを確認します。 詳細については、「クイックプレビュー」をご参照ください。

   1. クイック.

   2. [データテスト] > [データ] タブで、次の内容を入力します。

      {
        "__source__": "192.0.2.0",
        "__time__": 1624956516,
        "__topic__": "log",
        "__tag__:__client_ip__":"192.0.2.2",
        "c_id": "1",
        "staff_id": "002",
        "status": "Ongoing follow-up",
        "tag": "Follow-up visit",
      }

   3. [データテスト] > [ディメンションテーブル] タブで、次の内容を入力します。

      c_id,name,telephone,update_time,delete_flag
      1,maki,010-123,1606358931,false

   4. データのプレビュー.

      プレビュー結果を表示します。

6. 詳細モードでデータをプレビューします。

   Simple Log ServiceがApsaraDB RDS for MySQLインスタンスに接続されているかどうかを確認します。 詳細については、「高度なプレビュー」をご参照ください。

   1. 高度な.

   2. クリックデータのプレビュー.

   3. プレビュー設定の追加パネルで、[認証方法] パラメーターを設定し、OK.

      

   4. プレビュー結果を表示します。

      

      エラーが報告された場合は、ApsaraDB RDS for MySQLからデータをプルするときに発生する構文エラーを修正する方法を教えてください。

7. データ変換ジョブを作成します。

   1. クリック変換ジョブとして保存.

   2. データ変換ジョブの作成パネル、パラメータを設定し、OK.

      詳細については、「データ変換ジョブの作成」をご参照ください。

      データ変換ジョブが作成された後、変換されたデータを宛先Logstoreで表示できます。

よくある質問

増分プルモードで削除機能を使用するにはどうすればよいですか?

増分プルモードでは、Simple Log Serviceは、必要なデータベーステーブルのプライマリキーと時間フィールドに基づいて、新しいデータまたは更新されたデータのみをプルします。 データベーステーブルのデータレコードにdelete_flag=trueを設定して、レコードを削除対象としてマークした場合、Simple Log Serviceは変換のためにレコードを引き続きプルします。 この問題を解決するために、Simple Log Serviceはdeleted_flag_keyパラメーターをres_rds_mysql関数に追加します。 データ変換ステートメントでdeleted_flag_keyパラメーターを設定してデータベーステーブルからデータをプルすると、ジョブがテーブルから更新されたデータを取得した後、データ変換ジョブはdelete_flagパラメーターがtrueに設定されているデータ行をジョブのメモリ内ディメンションテーブルから削除します。 これは、データベーステーブルの内容には影響しません。 インメモリディメンションテーブルから削除されたデータ行は、ログデータに対して実行される後続のJOIN操作から除外されます。

たとえば、name=miaおよびname=tomデータレコードがApsaraDB RDS For MySQLインスタンスのデータベースに挿入され、name=miaデータレコードのdelete_flagパラメーターがtrueに設定されているとします。 これは、データレコードが削除のためにマークされることを示す。 Simple Log Serviceがメモリ内ディメンションテーブルを更新すると、name=miaデータレコードはメモリ内ディメンションテーブルから削除され、変換されません。

次のサンプルコードは、データ変換ステートメントの例を示しています。

e_table_map(
    res_rds_mysql(
        "rm-bp1****l3tp.mysql.rds.aliyuncs.com",     
        "test",
        "test1234@@",
        "client-db",
        table="client",
        fields=["c_id", "name", "telephone", "update_time"],
        refresh_interval=1,
        primary_keys="c_id",
        update_time_key="update_time",
        deleted_flag_key="delete_flag",
    ),
    "c_id",
    ["name", "telephone"],
)