このトピックでは、ログ配信機能を使用してlog ServiceからApsaraDB for ClickHouseにデータをインポートする方法について説明します。
注意事項
前提条件
Log Service が有効化されていること。 詳細については、「Log Serviceの有効化」をご参照ください。
プロジェクトとLog ServiceのLogstoreは、ApsaraDB for ClickHouseクラスターが存在するリージョンに作成されます。 ログは収集され、Logstoreに保存されます。 詳しくは、「クイックスタート」をご参照ください。
RAMユーザーを使用してlog ServiceからApsaraDB for ClickHouseにログデータを送信する場合は、Alibaba Cloudアカウントを使用してAliyunLogReadOnlyAccess権限をRAMユーザーに付与する必要があります。 詳細については、「RAMユーザーを作成し、RAMユーザーにLog Serviceへのアクセスを許可する」をご参照ください。
ApsaraDB for ClickHouseテーブルが作成されました。 ApsaraDB for ClickHouseテーブルのデータ構造とデータ型は、Log Serviceデータのデータ構造とデータ型をマッピングします。 詳しくは、「バケットの作成」をご参照ください。
手順
ApsaraDB for ClickHouseコンソールにログインします。
[クラスター] ページで、管理するクラスターを見つけ、クラスターIDをクリックします。
左側のナビゲーションウィンドウで、[ログ配信] をクリックし、[ログ配信タスクの作成] をクリックします。
[Log Serviceデータ配信] ページで、パラメーターを設定します。 下表にパラメーターを示します。
パラメーター
説明
配信タスク名
配送タスクの名前。
説明
配送タスクの説明。The description of the shipping task.
Log Serviceプロジェクト
Log Service プロジェクトの名前です。
ログストア
ログストアの名前
クラスター名
ApsaraDB for ClickHouseクラスターのID。
データベース名
ApsaraDB for ClickHouseデータベースの名前。
テーブル名
ApsaraDB for ClickHouseテーブルの名前。
アカウント名
データベースアカウントのユーザー名。
アカウントパスワード
データベースアカウントのパスワードを設定します。
フィールドマッピング
ApsaraDB for ClickHouseのログフィールドとテーブルフィールド間のマッピング。
開始時刻
ログがLog Serviceに書き込まれる時点。 たとえば、
2021-12-31 08:00
を選択した場合、 後にLog Serviceに書き込まれるログ2021-12-31 08:00
はApsaraDB for ClickHouseに出荷されます。ダーティデータをフィルタリングするかどうか
ダーティデータを除外するかどうかを指定します。 スイッチをオンにすることをお勧めします。 スイッチをオフにして、解析できないダーティデータが存在する場合、出荷タスクは失敗します。
説明配送タスクのダーティデータに関する情報を表示する場合は、[操作] 列の [モニタリング] をクリックします。
[OK] をクリックします。
パラメーターを設定した後、[ログ配信] ページで配送タスクを表示できます。
配送タスクのステータスが [保留中] から [同期中] に変わると、ログ配送が有効になります。
配送タスクを監視、変更、停止、または削除できます。