すべてのプロダクト
Search

このプロダクト

    Simple Log Service:ElasticsearchからSimple Log Serviceへのデータのインポート

    ドキュメントセンター

    Simple Log Service:ElasticsearchからSimple Log Serviceへのデータのインポート

    最終更新日:Oct 22, 2024

    このトピックでは、ElasticsearchからSimple Log Serviceにデータをインポートする方法について説明します。 Simple Log Serviceにデータをインポートした後、Simple Log Serviceコンソールでデータを照会、分析、変換できます。

    前提条件

    • Elasticsearchクラスターが利用可能で、Elasticsearchのバージョンは6.3以降です。

    • プロジェクトと Logstore が作成済みである必要があります。 詳細については、「プロジェクトの作成」および「Logstore の作成」をご参照ください。

    データインポート設定の作成

    1. にログインします。Simple Log Serviceコンソール.

    2. クイックデータインポートカードで [データのインポート] をクリックします。 表示されるダイアログボックスで、[データインポート] タブをクリックします。 次に、[Elasticsearch - Data Import] をクリックします。

      image

    3. プロジェクトとLogstoreを選択します。 そして、[次へ] をクリックします。

    4. データインポート設定のパラメーターを設定します。

      1. では、設定のインポートステップで、次のパラメータを設定します。

        パラメーター

        説明

        ジョブ名

        インポートジョブの名前。

        表示名

        インポートジョブの表示名。

        ジョブの説明

        インポートジョブの説明。

        サービスインスタンスURL

        ElasticsearchサーバーのURL。 形式: http:// host:port/

        複数のURLを指定できます。 複数のURLはコンマ (,) で区切ります。 例: http:// host1:port1/,http:// host2:port2/

        ほとんどの場合、Elasticsearchサーバーのサービスポートはポート9200です。

        重要

        VPCベースのインスタンスIDパラメーターを設定する場合、host変数を、関連するElastic Compute Service (ECS) インスタンスのIPv4アドレスに設定する必要があります。

        Elasticsearchインデックスリスト

        インポートするインデックスの名前。 複数のインデックス名はコンマ (,) で区切ります。 例: index1,index2,index3

        Elasticsearchユーザー名

        Elasticsearchクラスターへのアクセスに使用されるユーザー名。 このパラメーターは、Elasticsearchクラスターにアクセスするためにユーザー認証が必要な場合にのみ必要です。

        Elasticsearchユーザーパスワード

        Elasticsearchクラスターへのアクセスに使用されるパスワード。

        時刻フィールド

        ログ時間を記録するために使用される時間フィールド。 時間を表す列の名前をElasticsearchインデックスに入力できます。

        時間フィールドを指定しない場合、Simple Log Serviceはデータのインポート時にシステム時間を使用します。

        重要

        増分データをインポートする場合は、[Time Field] パラメーターを設定する必要があります。

        時刻フィールドの形式

        時刻フィールドの値を解析するために使用される時刻の形式です。

        • Java SimpleDateFormatでサポートされている時間形式を指定できます。 例: yyyy-MM-dd HH:mm:ss。 時間形式の構文の詳細については、「Class SimpleDateFormat」をご参照ください。 一般的な時間形式の詳細については、「時間形式」をご参照ください。

        • エポック時間形式を指定できます。 有効な値: epoch、epochMillis、epochMacro、epochNano。

        重要

        Java SimpleDateFormatはUNIXタイムスタンプをサポートしていません。 UNIXタイムスタンプを使用する場合は、[Time Field Format] パラメーターをエポック時間形式に設定する必要があります。

        タイムゾーン

        タイムフィールドのタイムゾーン。

        Time Field Formatパラメーターをエポック時間形式に設定した場合、time Zoneパラメーターを設定する必要はありません。

        Elasticsearchクエリ文字列

        データのフィルタリングに使用されるクエリ文。 クエリステートメントは、Elasticsearch query_string形式に準拠している必要があります。 例: 性別: 男性と都市: 上海。 詳細については、「クエリ文字列クエリ」をご参照ください。

        Importメソッド

        データのインポートに使用されるモード。 有効な値：

        • 履歴データのみのインポート: データのインポート後、インポートジョブは自動的に終了します。

        • 増分データの自動インポート: インポートジョブは継続的に実行されます。

          重要

          [増分データの自動インポート] を選択した場合、[時間フィールド] パラメーターを設定する必要があります。

        開始時刻

        開始時刻 開始時間を指定すると、時間フィールドの値が開始時間以上の場合にのみ、データがSimple Log Serviceにインポートされます。

        重要

        このパラメーターは、[Time Field] パラメーターを設定した場合にのみ有効になります。

        終了時刻

        終了時刻です。 終了時間を指定すると、時間フィールドの値が終了時間以下の場合にのみ、データがSimple Log Serviceにインポートされます。

        重要

        このパラメーターは、[Time Field] パラメーターを設定し、[Import Method] パラメーターを [Import only Historical Data] に設定した場合にのみ有効になります。

        最大レイテンシ (秒単位)

        データ生成とElasticsearchに書き込まれるデータの間に許可される最大レイテンシ。

        重要

        • 実際のレイテンシよりも小さい値を指定した場合、ElasticsearchからSimple Log Serviceにデータをインポートできない場合があります。

        • このパラメーターは、[時間フィールド] パラメーターを設定し、[インポート方法] パラメーターを [増分データの自動インポート] に設定した場合にのみ有効になります。

        新しいデータの期間をチェックする (秒)

        Simple Log ServicesがElasticsearchで増分データをチェックする間隔。 単位は秒です。 デフォルト値は 300 です。 最小値: 60。

        VPCベースのインスタンスID

        Elasticsearchクラスターが仮想プライベートクラウド (VPC) のElasticsearchクラスターまたはECSインスタンスの自己管理Elasticsearchクラスターの場合、このパラメーターを設定して、Simple Log ServiceがElasticsearchクラスターからAlibaba Cloudの内部ネットワークを介してデータを読み取ることができます。 Alibaba Cloudの内部ネットワークを介して読み取られたデータは、より高いセキュリティとネットワークの安定性を提供します。

        重要

        Elasticsearchクラスターは、CIDRブロック100.104.0.0/16からのアクセスを許可する必要があります。

      2. クリックプレビューインポート結果をプレビューします。

      3. 結果を確認したら、をクリックします。次へ.

    5. データをプレビューし、インデックスを作成し、[次へ] をクリックします。 デフォルトでは、Simple Log Serviceでフルテキストインデックスが有効になっています。 収集したログのフィールドインデックスを手動で作成するか、[自動インデックス生成] をクリックすることもできます。 その後、Simple Log Serviceはフィールドインデックスを生成します。 詳細については、「インデックスの作成」をご参照ください。

      重要

      ログのすべてのフィールドをクエリする場合は、フルテキストインデックスを使用することを推奨します。 特定のフィールドのみをクエリする場合は、フィールドインデックスを使用することを推奨します。 これは、インデックストラフィックを減らすのに役立ちます。 フィールドを分析する場合は、フィールドインデックスを作成する必要があります。 分析のために、クエリ文にSELECT文を含める必要があります。

    6. [クエリログ] をクリックします。 次に、Logstoreのクエリと分析ページにリダイレクトされます。

      インデックスが有効になるまで約1分待つ必要があります。 次に、収集したログを [生ログ] タブで表示できます。 ログのクエリと分析方法の詳細については、「ログのクエリと分析」をご参照ください。

    データインポート設定の表示

    データインポート設定の作成後、Simple Log Service コンソールで設定の詳細と関連レポートを表示できます。

    1. [プロジェクト] セクションで、データインポート設定が属するプロジェクトをクリックします。

    2. データインポート設定が属するLogstoreを見つけてクリックし、データ収集 > データインポートデータインポート設定の名前をクリックします。

    3. [インポート設定の概要] ページに、データインポート設定と関連レポートに関する基本情報が表示されます。

    次のステップ

    • データインポート設定の削除

      [設定の概要のインポート] ページで、[設定の削除] をクリックしてデータインポート設定を削除します。

      警告

      データインポート設定を削除すると、復元できません。 作業は慎重に行ってください。

    • データインポート構成のインポートジョブの停止と再起動

      データインポート設定を作成すると、Simple Log Serviceによってインポートジョブが作成されます。 [構成の概要のインポート] ページで、[停止] をクリックして、インポートジョブを停止できます。 インポートジョブが停止した後、インポートジョブを再開することもできます。

      重要

      インポートジョブが停止した後、ジョブは最大24時間停止状態になります。 この期間中にインポートジョブが再開されない場合、ジョブは使用できなくなります。 利用できないインポートジョブを再起動すると、エラーが発生する可能性があります。

    よくある質問

    問題

    考えられる原因

    解決策

    プレビュー中にElasticsearch接続エラーが発生しました。 エラーコード: 接続に失敗しました。

    • Elasticsearchサーバーの指定されたURLが無効です。

    • インポートジョブがElasticsearchクラスターにアクセスするために使用するIPアドレスは、クラスターのホワイトリストに追加されません。 その結果、インポートジョブはクラスターにアクセスできません。

    • Elasticsearchクラスターが存在するVPCのIDが指定されていません。 クラスターはデータインポートのソースです。

    • Elasticsearchサーバーの指定されたURLが有効であることを確認します。

    • インポートジョブがElasticsearchクラスターにアクセスするために使用するIPアドレスをクラスターのホワイトリストに追加します。 詳細については、「IPアドレスのホワイトリスト」をご参照ください。

    • 内部ネットワークを介してElasticsearchクラスターからデータをインポートする場合は、クラスターが存在するVPCのIDが指定されていることを確認してください。

    プレビュー中にタイムアウトエラーが発生します。 エラーコード: preview request timed out.

    インポートするElasticsearchインデックスには、データが含まれていないか、指定されたフィルター条件を満たすデータが含まれていません。

    • Elasticsearchインデックスにデータが含まれていない場合は、インデックスにデータを書き込み、データを再度プレビューします。

    • 指定した時間フィールドと時間形式が、インポートするデータの実際の時間フィールドと時間形式と一致していることを確認してください。

    • Elasticsearchインデックスに、指定されたフィルター条件または時間範囲を満たすデータが含まれていることを確認します。

    Simple log Serviceに表示されるログ時間は、インポートされたデータの実際の時間とは異なります。

    データインポート設定で時間フィールドが指定されていないか、指定された時間形式またはタイムゾーンが無効です。

    時間フィールドを指定するか、有効な時間形式とタイムゾーンを指定します。 詳細については、「データインポート設定の作成」をご参照ください。

    データのインポート後に、データをクエリまたは分析できません。

    • データがクエリ期間内にありません。

    • インデックスが設定されていません。

    • 設定されたインデックスは有効になりません。

    • クエリ対象のデータの時刻が、指定したクエリ期間内にあるかどうかを確認します。

      いいえの場合、クエリ時間範囲を調整し、データを再度クエリします。

    • データのインポート先の Logstore にインデックスが設定されているかどうかを確認します。

      いいえの場合、最初にインデックスを設定します。 詳細については、「インデックスの作成」および「Logstore に対するログの再インデックス」をご参照ください。

    • Logstoreにインデックスが設定されており、インポートされたデータの量が [data Processing Insight] ダッシュボードに期待どおりに表示されている場合、考えられる原因はインデックスが有効にならないことです。 この場合、データのインデックスを再作成します。 詳細については、「Logstore に対するログの再インデックス」をご参照ください。

    インポートされたデータエントリの数が想定を下回っています。

    サイズが3 MBを超えるデータエントリがElasticsearchに存在します。 data Processing Insightダッシュボードでデータエントリを表示できます。

    各データエントリのサイズが3 MBを超えないようにしてください。

    増分インポートを有効にすると、新しいデータをインポートするときに大きな遅延が発生します。

    • [Maximum Latency (秒単位)] の値が大きすぎます。

    • Elasticsearchクラスターの帯域幅使用量が上限に達しました。

    • インターネット経由でデータをインポートすると、ネットワークが不安定になります。

    • Logstore 内のシャードの数が少なすぎます。

    • その他の考えられる原因の詳細については、「パフォーマンスの制限」をご参照ください。

    • ビジネス要件に基づいて、[秒単位の最大レイテンシ] の値を変更します。

    • Elasticsearchクラスター、特にAlibaba Cloud Elasticsearchクラスターの帯域幅使用量が上限に達しているかどうかを確認します。 帯域幅使用量が上限に達した場合、または上限に近づいた場合は、既存の帯域幅をアップグレードする必要があります。

    • Elasticsearchデータをインターネット経由でインポートする場合は、インターネット帯域幅が十分であることを確認してください。

    • Logstore内のシャードの数が少なすぎる場合は、シャードの数を増やしてレイテンシを確認します。 詳細については、「シャードの管理」をご参照ください。

    エラー処理

    エラー

    説明

    Elasticsearchクラスターとの通信が異常です。

    インポートジョブは、スクロールモードでElasticsearchデータを取得します。 デフォルトのキープアライブ期間は24時間です。 ネットワーク接続エラーが発生した場合、またはElasticsearchとの正常な通信を妨げるその他のエラーが発生した場合、インポートジョブは自動的に再試行されます。 その他のエラーには、ユーザ認証エラーが含まれる。

    24時間以内に通信を回復できない場合、Elasticsearchのスクロールセッション情報は削除されます。 そのため、ジョブをリトライしてもインポートジョブを再開することができない。 システムは、「検索コンテキストが見つかりません」エラーを報告します。 この場合、インポートジョブの再作成のみが可能です。