Simple Log Service:MySQLデータベースからSimple Log Serviceにデータをインポートする

制限事項

• MySQLデータベースからのデータインポートは、次の地域で利用できます。中国 (杭州) 、中国 (上海) 、中国 (青島) 、中国 (北京) 、中国 (張家口) 、中国 (フホト) 、中国 (ウランカブ) 、中国 (成都) 、中国 (深セン) 、中国 (河原) 、中国 (広州) 、中国 (香港) 、シンガポール、シンガポールマレーシア (クアラルンプール) 、インドネシア (ジャカルタ) 、フィリピン (マニラ) 、タイ (バンコク) 、日本 (東京) 、韓国 (ソウル) 、英国 (ロンドン) 、ドイツ (フランクフルト) 、米国 (バージニア) 、米国 (シリコンバレー)

  .

• インポートのデータソースがAnalyticDB for MySQLの場合、JSONフィールドをインポートする前にVARCHAR型に変換する必要があります。 たとえば、detailフィールドがJSON型の場合、cast(detail as VARCHAR) as detailを使用して変換できます。 CAST関数の詳細については、「CAST関数」をご参照ください。

MySQL からのデータインポート

1. Simple Log Serviceコンソールにログインします。

2. [プロジェクト] セクションで、目的のプロジェクトをクリックします。

   

3. [ログストレージ] > [ログストア] タブで、ログストアの左側にある > をクリックし、[データ収集] > [データインポート] にポインターを移動し、[+] をクリックします。

   

4. [クイックデータインポート] ダイアログボックスで検索し、[MySQL-データインポート] をクリックします。

5. [設定のインポート] ステップで、データのインポート設定を作成します。

   1. [データソースの設定] タブで、次のパラメーターを設定します。

      基本パラメータ

      パラメーター	説明
      ジョブ名	ジョブの一意の名前。
      表示名	ジョブの表示名。
      ジョブの説明	ジョブの説明。
      VPCエンドポイントの使用	VPCに属するApsaraDB RDS for MySQLインスタンスでMySQLデータベースを使用する [VPCエンドポイントの使用] および [ApsaraDB RDSインスタンス] を選択し、次のパラメーターを設定します。 VPCベースのインスタンスID: ApsaraDB RDS for MySQLインスタンスが属する仮想プライベートクラウド (VPC) のID。 RDSインスタンスID: ApsaraDB RDS for MySQLインスタンスのID。 このパラメーターは、ApsaraDB RDS for MySQLインスタンスに指定されているVpcCloudInstanceIdの値に設定する必要があります。 DescribeDBInstanceAttributeを呼び出して、VpcCloudInstanceIdの値を取得できます。 VPCに属するECSインスタンスで自己管理型MySQLデータベースを使用する [VPCエンドポイントの使用] および [ECSでの自己管理データベース] を選択し、次のパラメーターを設定します。 VPCベースのインスタンスID: Elastic Compute Service (ECS) インスタンスが属するVPCのID。 ECSインスタンスIPアドレス: ECSインスタンスのプライベートIPアドレス。 インターネット経由でアクセス可能なApsaraDB RDS for MySQLインスタンスでMySQLデータベースを使用する [VPCエンドポイントの使用] を解除し、次のパラメーターを設定します。 データベースのパブリックIPアドレスまたはドメイン名: MySQLデータベースのパブリックIPアドレスまたはドメイン名。
      MySQLポート	MySQLデータベースへの接続に使用されるポート。 デフォルト値：3306。
      ユーザー名	MySQLデータベースへのログインに使用されるアカウントのユーザー名。 MySQLデータベースの読み取り権限のみをアカウントに付与することをお勧めします。
      Password	MySQLデータベースへのログインに使用されるアカウントのパスワード。
      データベース	MySQLデータベースの名前。
      クエリ	クエリ 文。 SELECTステートメントまたはSHOWステートメントを入力できます。 SHOWステートメントを入力した場合、[詳細設定] セクションで [ページサイズ] を設定できません。 疑問符 (?) を使用して、置換文字を指定できます。 クエリ文で疑問符を使用する場合は、CheckPoint Fieldを設定する必要があります。 たとえば、SELECT * FROM employees WHERE id > ? クエリでは、チェックポイントフィールドをidに設定し、チェックポイントフィールドの開始値を0に設定する必要があります。 データインポートジョブが実行されるたびに、システムは最後のデータレコードのIDをチェックポイントとして保存します。 次回データインポートジョブが実行されると、システムはクエリステートメントで指定された疑問符 (?) をチェックポイントに置き換えます。

      高度なパラメーター

      パラメーター	説明
      各インポートの最大行数	MySQLデータインポートジョブが実行されるたびにインポートできる行の最大数。 MySQLデータインポートジョブがスケジュールされています。 デフォルト値: 0。これは、行の最大数が無制限であることを示します。
      接続タイムアウト設定	MySQLデータインポートジョブが実行されたときのMySQLデータベースへの接続のタイムアウト期間。 既定値：3000。 単位：ms。
      クエリタイムアウト設定	MySQLデータインポートジョブが実行されたときのMySQLデータベースからのクエリのタイムアウト期間。 デフォルト値: 5000。 単位：ms。
      ページサイズ	各ページのデータレコード数。 値0は、ページ付けが行われないことを示す。 パラメーターを0より大きい値に設定すると、SELECTステートメントにlimit pageSize offset {checkpoint} が追加されます。 MySQLデータインポートジョブが実行されると、ページ分割が実行されてデータがインポートされます。
      時刻フィールド	MySQLデータの時間フィールド。 例: create_timeまたはupdate_time。 このフィールドの値は、データがSimple Log Serviceにインポートされた時刻と見なされます。
      時刻フィールドの形式	時間フィールドの形式。 Javaベースの時間形式がサポートされています。 例: yyyy-MM-dd HH:mm:ss。 詳細については、「時間形式」をご参照ください。
      タイムゾーン	タイムフィールドのタイムゾーン。
      CheckPointフィールド	チェックポイントフィールド。 チェックポイントは、システムがデータのインポートを開始する位置を示す。 たとえば、select * from t where id > ? と入力した場合、 クエリでは、チェックポイントフィールドをidに設定する必要があります。 idは自動インクリメントフィールドである必要があります。 チェックポイントフィールドには、create_timeやupdate_timeなどの他のフィールドを指定することもできます。 説明 SQL文で時間範囲を指定しない場合は、増分データをインポートしてデータ収集が繰り返されないようにチェックポイントフィールドを設定することを推奨します。
      チェックポイントフィールドの開始値	チェックポイントフィールドの初期値。
      追加フィールド	追加のフィールド。 形式: map[string]string たとえば、[クエリ] でselect a, b from t; と入力すると、aフィールドとbフィールドが自動的にインポートされます。 他のフィールドをSimple Log Serviceにインポートすることもできます。 例: {"k1": "v1", "k2": "v2"} 。

   2. [プレビュー] をクリックして、インポート結果をプレビューします。 結果を確認し、[次の設定] をクリックします。

   3. スケジューリング間隔の指定タブで、次のパラメーターを設定します。

      パラメーター	説明
      インポート間隔	MySQLデータベースからSimple Log Serviceにデータがインポートされる間隔。
      今すぐ実行	[今すぐ実行] をオンにすると、データインポートジョブがすぐに実行されます。

   4. 設定が完了したら、をクリックします。次へ.

6. インデックスの作成とプレビュー 次に、[次へ] をクリックします。 デフォルトでは、Simple Log Serviceでフルテキストインデックスが有効になっています。 収集したログのフィールドインデックスを手動で作成するか、[自動インデックス生成] をクリックすることもできます。 その後、Simple Log Serviceはフィールドインデックスを生成します。 詳細については、「インデックスの作成」をご参照ください。

   重要

   ログのすべてのフィールドをクエリする場合は、フルテキストインデックスを使用することを推奨します。 特定のフィールドのみをクエリする場合は、フィールドインデックスを使用することを推奨します。 これは、インデックストラフィックを減らすのに役立ちます。 フィールドを分析する場合は、フィールドインデックスを作成する必要があります。 分析のために、クエリ文にSELECT文を含める必要があります。

7. インデックスが有効になるまで約1分待つ必要があります。 次に、収集したログを [生ログ] タブで表示できます。 ログのクエリと分析方法の詳細については、「ログのクエリと分析」をご参照ください。

データのインポート設定とレポートの表示

データインポート設定を作成した後、Simple Log Serviceコンソールで設定と関連レポートを表示できます。

1. [プロジェクト] セクションで、データインポート設定が属するプロジェクトをクリックします。

2. データインポート設定が属するLogstoreを見つけてクリックし、データインポート > データインポートデータのインポート設定をクリックします。

   

3. [インポート設定の概要] ページに、データインポート設定と関連レポートに関する基本情報が表示されます。

次のステップ

[構成の概要のインポート] ページでは、次の操作を実行できます。

• データインポート設定の変更

  データインポート設定を変更するには、[設定の変更] をクリックします。 詳細については、「データのインポート」をご参照ください。

• データインポート設定の削除

  データインポート設定を削除するには、[設定の削除] をクリックします。

  警告

  データインポート設定を削除すると、復元できません。 作業は慎重に行ってください。