データ変換機能は、データを整理し、データからより多くの価値を引き出すのに役立ち、時間と人件費を削減します。適切な構成は、コストの節約にもつながります。このトピックでは、データ変換機能を使用してコストを最適化する方法について説明します。
一般的な構成
変換の原則とパフォーマンスガイドに基づいて、データ収集計画を簡素化できます。1 つ以上の Logstore を使用してデータを迅速に取り込み、データ変換を使用してデータを配信します。必要に応じて、各宛先 Logstore のストレージ期間とインデックス構成を設定します。
コスト要因
Simple Log Service のと課金方法は、コストが主に次の要因によって決定されることを示しています。
毎日インポートされるデータ量。
データストレージ期間。
インデックスが作成されているかどうか。
これらのコスト要因に基づいて、このトピックでは、コストを最適化する方法を示すために、次の 2 つの例を示します。
ストレージ構造の最適化
1 日の書き込み量が 100 GB のアプリケーションからログを継続的に収集し、ログを 30 日間保存し、フルテキストインデックスを作成する場合、Simple Log Service のコストは月額約 562 米ドル です。
操作ログやエラーログなど、特定のクラスのログに特に関心がある場合は、コストを最適化できます。これらのログが総量の 20% を占め、30 日間保存するとします。他のログは 7 日間だけ保存すればよいです。この場合、次の変換計画を使用できます。
ソース Logstore を作成して、インデックスなしでデータを 3 日間保存します。
宛先 Logstore 1 を作成して、操作ログとエラーログをインデックス付きで 30 日間保存します。
宛先 Logstore 2 を作成して、一般ログをインデックス付きで 7 日間保存します。
この場合、コストは月額約 421 米ドル となり、元のコストと比較して約 25% の節約になります。
生ログの保存期間が 60 日の場合、データ変換を使用して、重要なログの 20% を 60 日間保存し、他のログは 7 日間だけ保存できます。この方法では、コストを 12% 節約し、重要なログの保存時間を 2 倍にすることができます。
ストレージコンテンツの最適化
1 日の書き込み量が 100 GB のアプリケーションのログを継続的に収集し、ログを 30 日間保存し、フルテキストインデックスを作成する場合、Simple Log Service のコストは月額約 562 米ドル です。
次の例は生ログを示しています。サイズは 1021 バイトです。
__source__: 192.0.2.0
__topic__: ddos_access_log
body_bytes_sent: 3866
cc_action: none
cc_blocks:
cc_phase:
content_type: text/x-flv
host: www.example.com
http_cookie: i1=w1;x2=q2
http_referer: http://www.example.com
http_user_agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/192.0.2.1 Safari/537.36
http_x_forwarded_for: 192.0.2.2
https: true
isp_line: BGP
matched_host: www.example.com
method: GET
real_client_ip: 192.0.2.3
remote_addr: 192.0.2.4
remote_port: 48196
request_length: 2946
request_method: GET
request_time_msec: 78920
request_uri: /request/nvwlvvkhw
server_name: www.example.com
status: 502
time: 2019-07-22T17:40:26+08:00
ua_browser: mozilla
ua_browser_family:
ua_browser_type:
ua_browser_version: 9.0
ua_device_type:
ua_os: windows_7
ua_os_family:
upstream_addr: 192.0.2.4:80
upstream_ip: 192.0.2.5
upstream_response_time: 0.858
upstream_status: 200
user_id: st0s2b5生ログの特定のフィールドにのみ関心がある場合は、データ変換を使用して、重要なフィールドをインデックス付きで 30 日間保存し、他のフィールドは 3 日間だけ保存できます。この場合、次の変換計画を使用します。
3 日間のデータ保持期間を持ち、インデックスのないソース Logstore を作成します。
30 日間のデータ保持期間と必要なフィールドのインデックスを持つ宛先 Logstore を作成します。
処理後、各ログのサイズが元のサイズの約 60% になるとします。この場合、コストは月額約 393 米ドル となり、元のコストと比較して約 30% の節約になります。
元のログは 1021 バイトです。変換後、次の例に示すように、ログは 618 バイトになります。
__source__: 192.0.2.0
__topic__: ddos_access_log
body_bytes_sent: 3866
content_type: text/x-flv
host: www.example.com
http_referer: http://www.example.com
ua_browser: mozilla
ua_browser_family:
ua_browser_type:
ua_browser_version: 9.0
ua_device_type:
ua_os: windows_7
http_x_forwarded_for: 192.0.2.2
matched_host: www.example.com
method: GET
real_client_ip: 192.0.2.3
request_length: 2946
request_uri: /request/nvwlvvkhw
status: 502
upstream_addr: 192.0.2.4:80
upstream_ip: 192.0.2.5
upstream_response_time: 0.858
upstream_status: 200
user_id: st0s2b5