Simple Log Service:Elasticsearch/OpenSearch データのインポート

バージョンガイド

この機能は、Elasticsearch 6.3 以降、および OpenSearch 1.0.0 以降をサポートしています。

データインポート構成の作成

1. Simple Log Service コンソールにログインします。

2. [Access Data] エリアの [Data Import] タブで、[ES/OpenSearch - データインポート] を選択します。

   

3. プロジェクトとログストアを選択し、次に [次へ] をクリックします。

4. インポート構成を設定します。

   1. [インポート設定] ステップで、以下のパラメーターを設定します。

      パラメーター	説明
      タスク名	SLS タスクの一意の名前。
      表示名	タスクの表示名。
      タスクの説明	インポートタスクの説明。
      サービスインスタンスの URL	Elasticsearch または OpenSearch サーバーの URL。フォーマットは http://host:port/ です。 複数の URL を指定できます。コンマ (,) で区切ります。例：http://host1:port1/,http://host2:port2/。 Elasticsearch または OpenSearch サーバーのサービスポートは通常 9200 です。 重要 [VPC インスタンス ID] を設定する場合、host を、対応する ECS インスタンスの IPv4 アドレスに設定する必要があります。
      インデックスリスト	インポートするインデックス。複数のインデックスはコンマ (,) で区切ります。例：index1,index2,index3。
      ユーザー名	Elasticsearch または OpenSearch クラスターのユーザー名。このパラメーターは、クラスターがユーザー認証を必要とする場合にのみ必須です。
      パスワード	Elasticsearch または OpenSearch ユーザーのパスワード。
      時間フィールド	時間を表す Elasticsearch または OpenSearch インデックス内の列の名前。これはログ時間を指定するために使用されます。 時間フィールドを指定しない場合、SLS はデフォルトでデータインポートのシステム時刻を使用します。 重要 増分インポートを実行する場合、[時間フィールド] を設定する必要があります。
      時間フィールドのフォーマット	時間フィールドの値を解析するために使用される時間フォーマット。 Java の SimpleDateFormat 構文がサポートされています。例：yyyy-MM-dd HH:mm:ss。時間フォーマットの構文の詳細については、「Class SimpleDateFormat」をご参照ください。一般的な時間フォーマットについては、「時間フォーマット」をご参照ください。 epoch 形式もサポートされています。有効な値は epoch、epochMillis、epochMacro、epochNano です。 重要 Java SimpleDateFormat は UNIX タイムスタンプをサポートしていません。UNIX タイムスタンプを使用する場合は、[時間フィールド形式] をエポックフォーマットに設定する必要があります。
      時間フィールドのタイムゾーン	時間フィールドのタイムゾーン。 [時間フィールドフォーマット] がエポックフォーマットに設定されている場合、タイムゾーンを設定する必要はありません。
      検索文	データをフィルターするための検索文。文は Elasticsearch または OpenSearch の query_string 形式に従う必要があります。例：gender:male and city:Shanghai。詳細については、「Query string query」をご参照ください。
      インポートモード	データインポートのモード。 履歴データのみをインポート：データがインポートされた後、インポートタスクは自動的に停止します。 増分データを自動的にインポート：インポートタスクは継続的に実行されます。 重要 [新規データの自動インポート] を選択した場合は、[時間フィールド] を設定する必要があります。
      開始時刻	時間フィールドの値が指定された開始時刻以上の場合にのみ、データは SLS にインポートされます。 重要 この構成は、[時間フィールド] が設定された後にのみ有効になります。
      終了時刻	時間フィールドの値が指定された終了時刻以下の場合にのみ、データは SLS にインポートされます。 重要 この構成は、[時間フィールド] が設定され、[インポートモード] が [履歴データのみをインポート] に設定されている場合にのみ有効です。
      最大データ遅延 (秒)	データが生成されてから Elasticsearch または OpenSearch に書き込まれるまでの最大遅延時間。 重要 設定した値が実際の遅延時間より小さい場合、一部のデータが Elasticsearch または OpenSearch から SLS にインポートされない可能性があります。 この構成は、[時間フィールド] を設定し、[インポートモード] を [新規データを自動インポート] に設定した後にのみ有効になります。
      新しいデータの期間をチェックする (秒)	Elasticsearch または OpenSearch で新しいデータを確認する間隔。デフォルト値：300 秒。最小値：60 秒。
      VPC インスタンス ID	ご利用のクラスターが VPC 内の Alibaba Cloud Elasticsearch または OpenSearch クラスター、あるいは ECS インスタンス上の自己管理クラスターである場合は、VPC インスタンス ID を設定します。これにより、SLS は Alibaba Cloud プライベートネットワーク経由でクラスターからデータを読み取ることができ、セキュリティと安定性が向上します。 重要 Elasticsearch または OpenSearch クラスターは、100.104.0.0/16 CIDR ブロックからのアクセスを許可する必要があります。

   2. [プレビュー] をクリックしてインポート結果を表示します。

   3. 情報が正しいことを確認したら、[次へ] をクリックします。

5. [データのプレビュー] と [インデックスの作成] のステップを完了し、[次へ] をクリックします。Simple Log Service では、デフォルトでフルテキストインデックス作成が有効になっています。また、収集されたログに基づいてフィールドインデックスを手動で作成するか、[インデックスの自動作成] をクリックして Simple Log Service にフィールドインデックスを自動的に作成させることもできます。詳細については、「インデックスの作成」をご参照ください。

   重要

   フルテキストインデックスを使用すると、ログ内のすべてのフィールドをクエリできます。フィールドインデックスを使用すると、特定のフィールドをクエリでき、インデックストラフィックを削減できます。SELECT 文でフィールドを分析するには、フィールドインデックスを作成する必要があります。

6. [クエリログ] をクリックします。その後、Logstore のクエリ・分析ページにリダイレクトされます。

   インデックスが有効になるまで約 1 分待つ必要があります。その後、[Raw Logs] タブで収集されたログを表示できます。ログのクエリと分析の方法の詳細については、「ログのクエリと分析の開始」をご参照ください。

インポート構成の表示

インポート構成を作成した後、コンソールで構成とその統計レポートを表示できます。

1. 対象のプロジェクトをクリックします。

2. 宛先 Logstore では、[データ取り込み] > [データインポート] を選択し、インポート設定の名前をクリックします。

3. [インポート構成の概要] ページでは、データインポート構成の基本情報と統計レポートを表示できます。

関連操作

• インポート構成の削除

  [インポート構成の概要] ページで、[構成の削除] をクリックして構成を削除できます。

  警告

  この操作は元に戻せません。慎重に進めてください。

• インポートタスクの停止と再起動

  データインポート構成を作成すると、Simple Log Service はインポートタスクを作成します。[インポート構成の概要] ページで、[停止] をクリックしてインポートタスクを停止し、その後再起動できます。

  重要

  インポートタスクが停止された後、その状態は最大 24 時間保持されます。24 時間以内にタスクを再起動しない場合、タスクは利用できなくなります。24 時間後にタスクを再起動すると、タスクが再度実行されるときにエラーが発生します。

よくある質問

エラー処理メカニズム