:MySQL データベースからデータをインポートする

制限事項

• この機能は、中国 (杭州)、中国 (上海)、中国 (青島)、中国 (北京)、中国 (張家口)、中国 (フフホト)、中国 (ウランチャブ)、中国 (成都)、中国 (深圳)、中国 (河源)、中国 (広州)、中国 (香港)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、フィリピン (マニラ)、タイ (バンコク)、日本 (東京)、韓国 (ソウル)、イギリス (ロンドン)、ドイツ (フランクフルト)、米国 (バージニア)、および米国 (シリコンバレー) の各リージョンで利用できます。

• データソースが AnalyticDB for MySQL の場合、インポートする前に JSON フィールドを VARCHAR 型に変換する必要があります。たとえば、detail フィールドが JSON 型の場合、cast(detail as VARCHAR) as detail を使用して変換できます。CAST 関数の詳細については、「CAST 関数」をご参照ください。

データのインポート

1. Simple Log Service コンソールにログインします。

2. [Projects] セクションで、目的のプロジェクトをクリックします。

   

3. [ログストレージ] > [Logstores] タブで、目的の Logstore の左側にある [>] をクリックし、[データ収集] > [データインポート] にカーソルを合わせ、[+] をクリックします。

   

4. [クイックデータインポート] ダイアログボックスで、[MySQL-Data Import] を検索してクリックします。

5. インポート構成を設定します。

   1. [データソース設定] タブで、次のパラメーターを設定します。

      基本パラメーター

      パラメーター	説明
      タスク名	SLS タスクの一意の名前。
      表示名	タスクの表示名。
      タスクの説明	インポートタスクの説明。
      VPC アドレスを使用	VPC 内の RDS for MySQL データベース [VPC アドレスを使用] と [RDS インスタンス] を選択し、次のパラメーターを設定します。 VPC インスタンス ID: RDS for MySQL データベースが属する VPC の ID。 RDS インスタンス ID: このパラメーターを RDS インスタンスの VpcCloudInstanceId に設定します。DescribeDBInstanceAttribute 操作を呼び出して VpcCloudInstanceId を取得できます。 VPC 内の ECS インスタンス上の自己管理 MySQL データベース [VPC アドレスを使用] と [ECS 上の自己管理データベース] を選択し、次のパラメーターを設定します。 VPC インスタンス ID: ECS インスタンスが属する VPC の ID。 ECS インスタンス IP: ECS インスタンスのプライベート IP アドレス。 インターネット経由でアクセス可能なデータベース [VPC アドレスを使用] の選択を解除し、次のパラメーターを設定します。 データベースのパブリック IP またはドメイン名: MySQL データベースのパブリック IP アドレスまたはドメイン名。
      MySQL ポート	MySQL データベースのサービスポート。デフォルト値は 3306 です。
      ユーザー名	MySQL データベースへのログインに使用するアカウントの名前。 このアカウントには、MySQL データの読み取り権限のみを付与してください。
      パスワード	アカウントのパスワード。
      データベース	MySQL データベースの名前。
      クエリ文	SELECT 文または SHOW 文を使用できます。SHOW 文を使用する場合、詳細設定で [ページサイズ] パラメーターを設定することはできません。 疑問符 (?) は、[チェックポイントフィールド] と連携するプレースホルダーとして使用できます。たとえば、クエリ文が SELECT * FROM employees WHERE id > ? の場合、[チェックポイントフィールド] を id に、[チェックポイントフィールドの開始値] を 0 に設定します。データインポートタスクが完了すると、システムは最後のデータレコードの ID をチェックポイントとして保存します。次回タスクが実行されるとき、システムはクエリ文の疑問符 (?) をチェックポイント ID に置き換えます。

      詳細設定

      パラメーター	説明
      インポートごとの最大行数	MySQL インポートタスクはスケジュールに従って実行されます。各インポートの最大行数を設定できます。デフォルト値は 0 で、制限がないことを示します。
      接続タイムアウト	MySQL インポートタスクが MySQL データベースに接続するためのタイムアウト期間。デフォルト値は 3000 ms です。
      クエリタイムアウト	MySQL インポートタスクが MySQL データベースをクエリするためのタイムアウト期間。デフォルト値は 5000 ms です。
      ページサイズ	値 0 は、ページネーションが無効であることを示します。このパラメーターを 0 より大きい値に設定すると、システムは SELECT 文に limit pageSize offset {checkpoint} を追加して、データをバッチでインポートします。
      時間フィールド	create_time や update_time など、時間を表す MySQL データ内のフィールド。Simple Log Service は、このフィールドの値をデータインポート時間として使用します。
      時間フィールドのフォーマット	時間フィールドのフォーマット。Java の時間フォーマットがサポートされています。例: yyyy-MM-dd HH:mm:ss。詳細については、「時間フォーマット」をご参照ください。
      時間フィールドのタイムゾーン	時間フィールドのタイムゾーンを選択します。
      チェックポイントフィールド	チェックポイントフィールドを選択します。このフィールドは、次のデータインポートの開始点として機能します。たとえば、クエリ文が select * from t where id > ? で、id が自動インクリメントフィールドの場合、id をチェックポイントフィールドとして設定できます。 create_time や update_time などのフィールドも使用できます。 説明 SQL 文で時間範囲を指定しない場合は、[チェックポイントフィールド] を設定して増分データをインポートし、データの重複を防ぎます。
      チェックポイントフィールドの開始値	チェックポイントフィールドの開始値を設定します。
      追加フィールド	map[string]string 形式で追加フィールドを追加します。たとえば、クエリ文が select a, b from t; の場合、システムはデフォルトで a と b の 2 つのフィールドをインポートします。{"k1": "v1", "k2": "v2"} など、Simple Log Service にインポートする他のフィールドを追加できます。

   2. [プレビュー] をクリックしてインポート結果をプレビューします。結果が正しいことを確認したら、[次の設定] をクリックします。

   3. [スケジューリング間隔] タブで、次のパラメーターを設定します。

      パラメーター	説明
      インポート間隔	MySQL データベースから Simple Log Service にデータがインポートされる間隔。
      すぐに実行	[すぐに実行] をオンにすると、インポートタスクがすぐに 1 回実行されます。

   4. 設定が完了したら、[次へ] をクリックします。

6. インデックスを作成してデータをプレビューします。次に、[次へ] をクリックします。デフォルトでは、Simple Log Service でフルテキストインデックスが有効になっています。収集されたログのフィールドインデックスを手動で作成するか、[インデックスの自動生成] をクリックすることもできます。その後、Simple Log Service はフィールドインデックスを生成します。詳細については、「インデックスの作成」をご参照ください。

   重要

   ログのすべてのフィールドをクエリする場合は、フルテキストインデックスを使用することをお勧めします。特定のフィールドのみをクエリする場合は、フィールドインデックスを使用することをお勧めします。これにより、インデックスのトラフィックを削減できます。フィールドを分析する場合は、フィールドインデックスを作成する必要があります。分析には、クエリ文に SELECT 文を含める必要があります。

7. インデックスが有効になるまで約 1 分待つ必要があります。その後、[Raw Logs] タブで収集されたログを表示できます。ログのクエリと分析方法の詳細については、「ログのクエリと分析のガイド」をご参照ください。

インポート構成と統計レポートの表示

インポート構成が作成された後、コンソールで構成とその統計レポートを表示できます。

1. 目的のプロジェクトをクリックします。

2. 目的の Logstore で、[データ収集] > [データインポート] を選択し、目的のインポート構成をクリックします。

   

3. [インポート構成の概要] ページで、インポート構成の基本情報と統計レポートを表示します。

関連操作

[インポート構成の概要] ページでは、次の操作も実行できます。

• 構成の変更

  [構成の変更] をクリックしてインポート構成を変更します。パラメーターの詳細については、「データのインポート」をご参照ください。

• 構成の削除

  [構成の削除] をクリックしてインポート構成を削除します。

  警告

  この操作は元に戻せません。注意して進めてください。