Simple Log Serviceを使用すると、サーバー、アプリケーション、オープンソースソフトウェア、IoTデバイス、モバイルデバイス、Alibaba Cloudサービスなど、複数のソースからデータを収集できます。 標準プロトコルを使用して転送されるデータを収集することもできます。 このトピックでは、Simple Log Serviceでサポートされているデータソースについて説明します。
収集方法
収集方法 | 説明 | 関連ドキュメント |
Logtailを使用した収集 | Logtailは、Simple log Serviceによって提供されるログ収集エージェントです。 Logtailは、数年間、Alibaba Groupの主要サービスからデータを収集するために使用されてきました。 Logtailは、数百万台のサーバーからリアルタイムデータを収集し、毎日数十ペタバイトのデータを処理します。 Logtailは、Double 11イベント中に長年にわたって安定性と信頼性を実証してきました。 | |
Alibaba Cloudサービスからの収集 | Simple Log Serviceは、エラスティックコンピューティング、ストレージ、セキュリティ、データベースサービスなど、さまざまなAlibaba Cloudサービスからログを収集できます。 ログには、ユーザー操作、実行ステータス、Alibaba Cloudサービスのビジネスダイナミクスなどの統計が記録されます。 | |
データインポート | Simple Log Serviceは、Object Storage Service (OSS) オブジェクト、Amazon Simple Storage Service (S3) オブジェクト、MySQLデータベース、Elasticsearchクラスター、およびKafkaクラスターのデータをインポートできます。 | |
その他の収集方法 | Kafkaプロトコル、Syslogプロトコル、またはLoggieを使用して、ログをSimple Log Serviceにアップロードできます。 webトラッキング機能またはSimple Log Service SDKを使用して、Simple Log Serviceにログをアップロードすることもできます。 | |
共通ログの収集 | Simple Log Serviceは、Log4jログ、Pythonログ、Node.jsログ、WordPressログ、およびUnity3Dログを収集できます。 |
データソース
カテゴリ | ソース | 収集方法 | 関連ドキュメント |
アプリケーション | プログラム出力 | なし | |
アクセスログ | |||
トレースデータ | なし | ||
メトリックデータ | なし | ||
プログラミング言語 | Java | なし | |
Log4J Appender | なし | ||
LogBack Appender | なし | ||
C | なし | ||
Python | なし | ||
Python Logging | なし | なし | |
PHP | なし | ||
. ネット | なし | ||
C++ | なし | ||
Go | なし | ||
NodeJS | なし | ||
JS | なし | ||
OS | Linux | なし | |
Windows | なし | ||
Mac/Unix | なし | ||
Dockerファイル | なし | ||
Docker出力 | なし | ||
データベース | MySQL Binlog | なし | |
MySQLクエリ結果 | なし | ||
SQL Serverクエリ結果 | なし | ||
PostgreSQLクエリ結果 | なし | ||
モバイルデバイス | iOSとAndroid | なし | |
ウェブページ | なし | ||
インテリジェント IoT | なし | ||
標準プロトコル | HTTP | ||
logtailを用いたsyslogデータの収集 | なし | ||
Kafka | なし | ||
OpenTelemetry | なし | ||
インポートされたデータ | Object Storage Service (OSS) データ | なし | |
MySQLデータ | なし | ||
Elasticsearchデータ | なし | ||
CloudMonitorデータ | なし | ||
サードパーティソフトウェア | Logstash | なし | |
Flume | なし | ||
ビート | なし | ||
Fluentd | なし | ||
テレグラフ | なし | ||
Alibaba Cloud のサービス | ECS (Elastic Compute Service) やOSSなどのサービス | なし |
ネットワークタイプとエンドポイント
Alibaba Cloud内部ネットワーク: Alibaba Cloud内部ネットワークはギガビットの共有帯域幅を提供します。 内部ネットワークを介したログデータの送信は安定しており、高速です。 Alibaba Cloud内部ネットワークには、仮想プライベートクラウド (VPC) とクラシックネットワークが含まれます。
インターネット: インターネットを介したログデータの送信は、ネットワーク帯域幅によって制限されます。 ジッタ、レイテンシ、パケット損失などのネットワーク問題も発生する可能性があります。 これは、データ伝送の速度と安定性に影響します。
転送高速化: このネットワークタイプは、Alibaba Cloud CDN (CDN) のエッジノードを使用してログ収集を高速化するために使用できます。 インターネットを介したログ収集と比較して、転送アクセラレーションに基づくログ収集はより安定しており、送信レイテンシはより低いです。
特定のネットワークタイプを選択できるシナリオの詳細については、「ネットワークタイプの選択」をご参照ください。 エンドポイントの詳細については、「エンドポイント」をご参照ください。 転送アクセラレーション機能を有効にする方法の詳細については、「転送アクセラレーション機能の使用」をご参照ください。
よくある質問
Express ConnectとSimple Log Serviceを併用する場合、どのネットワークタイプを選択する必要がありますか?
内部ネットワークタイプを選択することを推奨します。
インターネットからデータを収集するときにパブリックIPアドレスを取得できますか?
はい。ログストアのログパブリックIPを有効にして、パブリックIPアドレスを取得できます。 詳細については、「Logstore の作成」をご参照ください。
リージョンAからリージョンBのSimple Log ServiceプロジェクトにECSログを収集する場合、どのネットワークタイプを選択する必要がありますか。
リージョンAのElastic Compute Service (ECS) インスタンスにLogtailをインストールするコマンドで、インターネットタイプを選択し、リージョンBのリージョン名を指定することを推奨します。これにより、Logtailはインターネット経由でリージョンBのプロジェクトにアクセスできます。 他のシナリオでネットワークタイプを選択する方法の詳細については、「ネットワークタイプの選択」をご参照ください。
エンドポイントにアクセスできるかどうかを確認するにはどうすればよいですか。
次のコマンドを実行できます。 出力が返された場合、エンドポイントにアクセスできます。
curl $myproject.cn-hangzhou.log.aliyuncs.com$myproject: プロジェクトの名前。cn-hangzhou.log.aliyuncs.com: エンドポイント。