Simple Log Serviceは、管理されたスケーラブルで可用性の高い新しいバージョンのデータ変換サービスを提供します。 このサービスは、データの整理、情報の抽出、データのクレンジング、フィルタリング、Logstoreへの配布に役立ちます。
制御ポリシー機能の動作
データ変換 (新バージョン) 機能は、ホストされたデータ消費ジョブと処理言語 (SPL) ルール消費機能に基づいて、ログデータをリアルタイムで処理します。 SPLルールの詳細については、「SPL構文」をご参照ください。 SPLに関連するシナリオの詳細については、「リアルタイム消費の概要」をご参照ください。
データ変換は、Simple Log Serviceのリアルタイム消費APIに依存し、ソースLogstoreのインデックス設定に依存しません。
スケジューリングメカニズム
変換サービスは、変換ジョブを同時に処理するために1つ以上のインスタンスを開始するスケジューラを有する。 実行中の各インスタンスは、ソースLogstoreの1つ以上のシャードを消費するコンシューマーとして機能します。 スケジューラは、インスタンスのリソース使用量と消費の進行状況に基づいてインスタンスを動的にスケーリングします。 1つのジョブの最大同時実行性は、ソースLogstore内のシャードの数です。
インスタンスの実行
ジョブのSPLルールと宛先Logstoreの設定に基づいて、SPLルールを使用して、データ変換サービスによって割り当てられたシャードからソースログデータを使用できます。 処理された結果は、SPLルールに基づいて配布され、対応する宛先ログストアに書き込まれます。 インスタンスの実行中、シャードのコンシューマーオフセットは自動的に保存され、ジョブが停止してから再起動されたときに中断された時点から消費が継続されるようにします。
ジョブの停止
データ変換ジョブのライフサイクルと状態は、ジョブ構成と実行された操作に関連しています。 詳細は、「ETL」をご参照ください。
シナリオ
データ変換機能は、データの標準化、転送、感度低下、フィルタリングなどのシナリオで使用されます。 次の項目は、シナリオを説明します。
データの標準化と情報の抽出: さまざまな形式のログからフィールドを抽出し、データ形式を変換して構造化データを取得し、下流のアプリケーションとデータウェアハウスによる効率的なストリーム処理と分析を行います。
データ転送と配布:
異なるタイプのログを1つのLogstoreに収集し、ソースサービスモジュールまたはビジネスコンポーネントに基づいて、ログを下流のLogstoreに配信します。 これにより、データの分離とシナリオ固有のコンピューティングが実現されます。
ビジネスがデプロイされているリージョンからログを収集し、アクセラレーションサービスを使用してログを中央リージョンに集約します。 このようにして、グローバルな中央ログ管理が可能になる。
データクレンジングとフィルタリング: 無効なログレコードまたは未使用のログフィールドを消去し、キーフィールドを除外し、集中的な分析のためにキーフィールドを下流のLogstoreに書き込みます。
データの感度低下: データレコード内のパスワード、携帯電話番号、IPアドレスなどの機密情報の感度を低下させます。
メリット
Simple Log ServiceのSPL構文は、データを一元的に収集、クエリ、および使用するのに簡単に使用できます。
SPL開発中は、ラインごとのデバッグとコードプロンプトがサポートされます。これにより、統合開発環境 (IDE) コーディングと同様のエクスペリエンスが提供されます。
データはリアルタイムで処理され、数秒以内に可視化できます。 さらに、コンピューティングリソースの柔軟なスケーリングがサポートされ、高スループットを提供します。
データ処理ディレクティブとSQL関数は、ログ分析用に用意されています。
リアルタイム指標を備えたダッシュボードが提供され、十分な情報に基づいてジョブを監視するのに役立ちます。
Alibaba Cloudおよびオープンソースのエコシステムのビッグデータサービスと統合できる、フルマネージド型のメンテナンスフリーサービス。
サポートされるリージョン
中国 (杭州)
中国 (上海)
中国 (北京)
中国 (張家口)
中国 (ウランチャブ)
中国 (深セン)
中国 (広州)
中国 (武漢-地域)
中国 (香港)
シンガポール
フィリピン (マニラ)
課金
現在、データ変換 (新バージョン) 機能はパブリックプレビューで無料です。 パブリックレビューは2024年7月1日に終了し、それ以降、次の規則に基づいて料金が請求され始めます。
Logstoreが書き込まれたデータ量に基づいて請求されている場合、データ変換 (新バージョン) 機能に料金は発生しません。 ただし、Simple Log Serviceのパブリックドメインが存在するインターフェイスを使用してデータがプルまたは書き込まれた場合、インターネット読み取りトラフィックは圧縮されたデータ量に基づいて課金されます。 詳細については、「従量課金データの課金項目」をご参照ください。
Logstoreが使用されている機能に基づいて課金される場合、データ変換 (新バージョン) 機能で使用されているコンピューティングおよびネットワークリソースに対して料金が課金されます。 詳細については、「課金機能の課金項目」をご参照ください。