CDN:Simple Log ServiceでAlibaba Cloud CDNリアルタイムログを配布および分析するためのベストプラクティス

概要

リアルタイムログ配信機能は、Alibaba Cloud CDNとlog serviceによって共同開発されたログデータ処理サービスです。 低レイテンシ (通常は3分以内) の配送が特徴で、この機能を使用して、世界中のポイントオブプレゼンス (POP) からLog Serviceにアクセスログをプッシュできます。. その後、Simple Log Serviceを使用して、ユーザーアクセスデータを保存および分析できます。 Alibaba Cloud CDNを介して流れるリクエストがログに記録され、分析用に大量のデータが提供されます。 これらのログを分析して、ユーザーの構成とアクセス速度に関する洞察を得たり、コンテンツ配信の問題を見つけてトラブルシューティングを行うことができます。

前提条件

• Alibaba Cloud CDNが有効化され、高速化のためにドメイン名が追加されます。 詳細については、「Alibaba Cloud CDNの有効化」をご参照ください。

• Simple Log Serviceが有効化されています。 詳細については、「入門」をご参照ください。

• リアルタイムログ配信は、ユーザーアクセスデータを分析する高速化ドメイン名に対して設定されます。 詳細については、「リアルタイムログ配信の設定」をご参照ください。

リアルタイムログ配布とオフラインログ機能の違い

• ログ待ち時間

  リアルタイムログ配信機能はログデータをリアルタイムで収集し、イベント発生後3分以内にログが生成されます。 オフラインログデータは24時間以内に生成されます。

• ログ分析

  リアルタイムログ配信機能は、Simple log Serviceのログストレージとログ分析機能を統合します。 この機能は、基本データ、エラー分析、頻繁に要求されるリソース、ユーザー分析用のテンプレートを含む、4つのプリセット分析レポートテンプレートを提供します。 この機能は、カスタムログ分析ポリシーもサポートしています。 対照的に、オフラインログ機能では、ログをObject Storage Service (OSS) に送信することのみができ、ログ分析機能を統合することはできません。

メリット

• 低レイテンシ

  ログデータは、イベントが発生してから3分後に生成されます。 これにより、アクセスログを分析し、問題を特定し、タイムリーに解決できます。

• エンドツーエンドの

  従来のオフラインログ分析ソリューションでは、通常、最初にログをダウンロードしてデータウェアハウスにアップロードし、その後データをクリーンアップしてデータモデルの定義を提供する必要があります。 そうして初めて、データ分析を実行できます。 この結果、労働コストが高くなり、分析に必要な時間が長くなる。 リアルタイムログ配信機能は、Simple log Serviceのログストレージとログ分析機能を統合して、従来のオフラインログ分析の面倒なプロセスを排除します。

シナリオ

リアルタイムログ配信を使用して、Alibaba Cloud CDNを使用してコンテンツの配信を高速化するときに発生する可能性のある問題をトラブルシューティングできます。 収集したログデータを使用して、ユーザーアクセス統計を分析することもできます。 Alibaba Cloud CDNのリアルタイムログ配信機能は、事前設定されたログ分析レポートを提供し、さまざまな要件を満たすカスタムログ分析ポリシーをサポートします。

プリセットログ分析レポート

[リアルタイムログ] ページで、ログを分析するプロジェクトを見つけ、[レポートの表示] をクリックします。

データ照会テンプレートページでは、デフォルトですべてのドメイン名のデータが照会されます。 指定したドメイン名またはURIのデータを照会することもできます。

詳細は、以下のセクションをご参照ください。

• プリセットレポート: 基本データ

• プリセットレポート: アクセスエラー

• プリセットレポート: 頻繁に要求されるリソース

• プリセットレポート: ユーザー構成

• Subscribe to report template data

カスタムログ分析

事前設定されたログ分析レポートが要件を満たせない場合は、Simple log Serviceのログ分析機能を使用して、カスタムログ分析を実装できます。

たとえば、HTTPステータスコードが499または502のリクエストのドメイン名のランキングを表示できます。

[リアルタイムログ] ページで、ログを分析するプロジェクトを見つけ、[ログ分析] をクリックします。

カスタムログ分析ページで、検索ボックスにクエリステートメントを入力して、複雑なクエリ条件を使用してログデータをクエリするか、[生ログ] タブのログフィールドをクリックして、単純なフィルタ条件を使用してログをフィルタリングできます。

詳細については、「カスタムレポート」をご参照ください。

リアルタイムログ配信プロジェクトの作成

Log Serviceプロジェクトを作成して、s aliyun.example.comなどの高速化ドメイン名のリアルタイムログを保存できます。 詳細については、「リアルタイムログ配信の設定」をご参照ください。

次の図は、作成されたプロジェクトを示しています。プロジェクト名はproject-example、Logstore名はproject-example、ログストレージ領域は中国 (杭州) で、IDはcn-Hangzhouです。

プリセットレポート: 基本データ

このレポートでは、Alibaba Cloud CDNの全体的なパフォーマンスと、ヒット率、アクセス遅延、ダウンロード速度などのユーザーアクセス効率に関する情報を提供します。 また、サービス品質の問題をすばやく特定して処理することもできます。

このレポートは、以下のデータを含む。 すべてのデータを表示したり、ドメイン名またはURIでデータをフィルタリングしたりできます。

• ヘルス: 通常のHTTPステータスコードを持つリクエストの割合

• キャッシュヒット率: バイト数による平均キャッシュヒット率

• ダウンロード速度: リソースの平均ダウンロード速度

• アクセスステータス: 異常なHTTPステータスコードを含むHTTPステータスコードの割合

• アクセス遅延分布: 各遅延セグメントの割合

• 帯域幅: 毎分収集される帯域幅データ

• PV/UV: ページビューとユニークな訪問者

• リクエストヒット率: リクエスト数によるヒット率

• アクセス待ち時間: リソースダウンロードの平均待ち時間

プリセットレポート: アクセスエラー

このレポートは、URIの問題、オリジンサーバーの障害、利用できないPOP、地域ネットワークの問題、ISPネットワークの問題など、アプリケーションアクセス例外が発生したときに問題をすばやく特定するのに役立ちます。

このレポートは、以下のデータを含む。 すべてのデータを表示したり、ドメイン名またはURIでデータをフィルタリングしたりできます。

• 上位10のエラードメイン名: アクセスエラーが最も多い上位10のドメイン名

• 上位10のエラーURI: アクセスエラーが最も多い上位10のURI

• リクエストエラー率: 時間によるHTTP 4xxまたは5xxステータスコードの割合

• エラーリクエストの配布: 各HTTPステータスコードの数と割合

• ISPによるエラー: ISPによるHTTP 4xxおよび5xxステータスコードの数

• 州別のエラー: 州別のHTTP 4xxおよび5xxステータスコードの数

• エラーの詳細 (4xx): 州およびISP別のHTTP 4xxステータスコードの数と割合

• エラーの詳細 (5xx): 州とISPによるHTTP 5xxステータスコードの数と割合

• クライアントによるエラー配布: 各クライアントのUser-Agent情報に対応するHTTP 4xxまたは5xxステータスコードの数と割合

プリセットレポート: 頻繁に要求されるリソース

このレポートは、頻繁に要求されるリソースに関する情報を提供し、一般的なドメイン名とURI、ほとんどの顧客がいる州、および顧客のISPに関する洞察を得るのに役立ちます。 このデータは、業務活動が予想されるトラフィック量を引き付けるかどうか、ピーク時のトラフィックが予想よりも多いか少ないかなど、ビジネスをよりよく理解するのにも役立ちます。 この情報は、ビジネスの全体的な業務を調整するのに役立ちます。

このレポートは、以下のデータを含む。 すべてのデータを表示したり、ドメイン名またはURIでデータをフィルタリングしたりできます。

• 訪問によるトップドメイン名: 総訪問数の割合によるトップドメイン名

• ダウンロードトラフィック別のトップドメイン名: 合計ダウンロードトラフィックの割合によるトップドメイン名

• 頻繁にリクエストされるURI: 各URIの訪問数、ユニークビジター数、ダウンロード数

• 人気のあるアクセスソース: 人気のあるリファラーソースドメイン名、訪問数とユニークビジター数、および割合

• 中国本土全体の訪問: 州ごとの平均訪問数

• 中国本土全体のダウンロード速度: 省別の平均ダウンロード速度

• 州別の統計: 訪問の総数、総ダウンロードトラフィック、および州別の平均ダウンロード速度

• ISPによるトラフィックとダウンロード速度: ISPによる合計ダウンロードトラフィックと平均ダウンロード速度

• ISP別の統計: 各ISPの合計訪問数、合計ダウンロードトラフィック、および平均ダウンロード速度

プリセットレポート: ユーザー構成

このレポートは、クライアントまたはデバイス、一般的な場所、ユーザーのISPなど、Webサイトのユーザー構成に関する情報を提供します。 ほとんどの訪問またはほとんどのダウンロードを持つトップユーザーを分析できます。

このレポートは、以下のデータを含む。 すべてのデータを表示したり、ドメイン名またはURIでデータをフィルタリングしたりできます。

• PV: ページビュー

• UV: ユニークな訪問者

• ソースリージョン分布: 各州の訪問数と割合

• クライアント別の訪問数: クライアントタイプ別の訪問数と割合

• ISPによる訪問数とISPによる訪問の割合

• ほとんどのダウンロードを持つトップユーザー: 訪問の総数、エラー訪問の数、およびIPアドレスによるダウンロードの総数

• 最も有効な訪問数を持つトップユーザー: 4xxや5xxなどのHTTPステータスコードを持つ無効な訪問数を除く、IPアドレスによる訪問数、エラー訪問数、およびダウンロード数

レポートテンプレートデータの購読

Log Serviceがレポートテンプレートから定期的にデータを送信する場合は、サブスクリプション機能を使用できます。

手順

1. 基本データが例として使用される。 ページの右上隅にある [サブスクライブ] をクリックし、[作成] をクリックします。

2. 表示されるダイアログボックスで、[サブスクリプション名] 、[頻度] 、[グローバル時間] を設定し、[次へ] をクリックします。

3. [通知] ドロップダウンリストから通知方法を選択し、関連情報を指定して、[送信] をクリックします。

   通知方法には、Email、WebHook-DingTalk Bot、WebHook-Feishu Chat Bot、Webhook-WeCom Bot、およびWeChatが含まれます。

   

カスタムレポート

• 例1: 過去30日間のほとんどのHTTP 499ステータスコードを含むドメイン名のランキングを表示します。

  ログ分析ステートメント: return_code = 499 | select domain , count(*) as c group by domain order by c desc limit 10

  

• 例2: 過去30日間のほとんどのHTTP 502ステータスコードを含むドメイン名のランキングを表示します。

  ログ分析ステートメント: return_code = 502 | select domain , count(*) as c group by domain order by c desc limit 10

  

• 例3: 過去30日間のURIが /cpuであるログデータを表示します。

  左側のRawログタブのuriフィールドを直接クリックし、/cpuをクリックして必要なログをフィルタリングできます。