コスト最適化ガイド - Simple Log Service - Alibaba Cloud ドキュメントセンター

データ変換機能は、時間と人件費を削減してデータを整理し、ビジネスを促進するのに役立ちます。本ページでは、最適なコストでデータを変換するルールを構成する方法について説明します。

典型的な構成

ログデータを1つ以上のLogstoreにインポートし、データ変換機能を使用して変換済みデータを宛先Logstoreにディスパッチすることを推奨します。さらに、異なる宛先ログストアのデータの保持期間とインデックスを設定することを推奨します。詳細については、「データ変換の基本」および「パフォーマンスガイド」をご参照ください。 Typical configurations

コスト要因

Log Serviceを使用する場合、コストは次の要因によって異なります。 For more information, see Billing methods.

1 日あたりにインポートされるデータの量
データ保持期間
作成するインデックスの数

次の例では、コストを最適化する方法について説明します。

インポートしたログの最適化

アプリケーションからログを収集し、1日あたり100 GBのログデータをソースLogstoreにインポートするとします。また、ログデータのフルテキストインデックスを作成し、30日間のデータ保持期間を設定します。この場合、1か月あたり約562米ドルが請求されます。

ただし、操作ログやエラーログなど、特定の種類のポッドからログをフィルタリングする必要があります。これらのログは、生ログの総量の20% を占めます。また、これらのログを30日間保持し、他のログを7日間保持する必要があります。この場合、次の方法を使用してコストを最適化することを推奨します。

3日間ログを保持するソースLogstoreを作成します。ログデータのインデックスは作成しません。
操作ログとエラーログを30日間保存し、ログデータのインデックスを作成する宛先Logstoreを作成します。
7日間の他のログを保存し、ログデータのインデックスを作成する別の宛先Logstoreを作成します。

この場合、1か月あたり約421米ドルが請求されます。この方法は、25% でコストを削減できます。

データ変換機能を使用して、重要なログを60日間、その他のログを7日間保持できます。ログの20% を保持する場合、コストは12% 削減され、ログの保持期間は2倍になります。

ログのログエントリの最適化

以下は、サイズが 1021 バイトの未加工のログエントリです。

__source__:  192.0.2.0
__topic__:  ddos_access_log
body_bytes_sent:  3866
cc_action:  none
cc_blocks:  
cc_phase:  
content_type:  text/x-flv
host:  www.example.com
http_cookie:  i1=w1;x2=q2
http_referer:  http://www.example.com
http_user_agent:  Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/192.0.2.1 Safari/537.36
http_x_forwarded_for:  192.0.2.2
https:  true
isp_line:  BGP
matched_host:  www.example.com
method:  GET
real_client_ip:  192.0.2.3
remote_addr:  192.0.2.4
remote_port:  48196
request_length:  2946
request_method:  GET
request_time_msec:  78920
request_uri:  /request/nvwlvvkhw
server_name:  www.example.com
status:  502
time:  2019-07-22T17:40:26+08:00
ua_browser:  mozilla
ua_browser_family:  
ua_browser_type:  
ua_browser_version:  9.0
ua_device_type:  
ua_os:  windows_7
ua_os_family:  
upstream_addr:  192.0.2.4:80
upstream_ip:  192.0.2.5
upstream_response_time:  0.858
upstream_status:  200
user_id:  st0s2b5

ログエントリに一部のフィールドのみが必要な場合は、宛先フィールドを30日間保持し、これらのフィールドのインデックスを作成できます。他のフィールドは3日間だけ保持できます。この場合、次の方法を使用することを推奨します。

3日間ログを保持するソースLogstoreを作成します。ログデータのインデックスは作成しません。
操作ログとエラーログを30日間保存し、ログデータのインデックスを作成する宛先Logstoreを作成します。

変換されたログエントリのサイズが生のログエントリのサイズを60% 場合、1か月あたり約USD 393が請求されます。この方法は、30% でコストを削減できます。

以下は、1021 バイトの未加工ログエントリから変換された 618 バイトのログエントリです。

__source__:  192.0.2.0
__topic__:  ddos_access_log
body_bytes_sent:  3866
content_type:  text/x-flv
host:  www.example.com
http_referer:  http://www.example.com
ua_browser:  mozilla
ua_browser_family:  
ua_browser_type:  
ua_browser_version:  9.0
ua_device_type:  
ua_os:  windows_7
http_x_forwarded_for:  192.0.2.2
matched_host:  www.example.com
method:  GET
real_client_ip:  192.0.2.3
request_length:  2946
request_uri:  /request/nvwlvvkhw
status:  502
upstream_addr:  192.0.2.4:80
upstream_ip:  192.0.2.5
upstream_response_time:  0.858
upstream_status:  200
user_id:  st0s2b5