Simple Log Service:OSSデータ配布ジョブの作成 (新バージョン)

サポートされるリージョン

データ配布ジョブの作成

1. Simple Log Serviceコンソール.

2. [プロジェクト] セクションで、管理するプロジェクトをクリックします。

   

3. ログストレージ > ログストアタブでLogstoreを見つけ、>を選択し、データ処理 > エクスポート > Object Storage Service (OSS).

4. ポインタをObject Storage Service (OSS) に移動し、+ アイコンをクリックします。

5. [データ配送ジョブの作成] パネルで、[OSSエクスポート] を選択し、[OK] をクリックします。

6. OSSへのデータ送信パネル、パラメータを設定し、OK.

   重要

   • OSSデータ配送ジョブを作成した後、シャード内のデータがOSSバケットに配送される頻度は、ジョブの作成時に設定した配送サイズと配送時間パラメーターの値に基づいています。 出荷サイズと出荷時刻のいずれかの条件が満たされると、データが出荷されます。

   • OSSデータシッピングジョブを作成した後、ジョブのステータスとOSSに出荷されるデータに基づいて、ジョブが要件を満たしているかどうかを確認できます。

   パラメーター	説明
   ジョブ名	データ配布ジョブの名前。
   表示名	データ配布ジョブの表示名。
   ジョブの説明	データ配布ジョブの説明。
   OSSバケット	データを送信するOSSバケットの名前。 重要 データは、WORM (Write Once Read Many) 機能が無効になっている既存のOSSバケットにのみ発送できます。 バケットは、Simple Log Serviceプロジェクトと同じリージョンに存在する必要があります。 WORM機能の詳細については、「保持ポリシー」をご参照ください。 標準、低頻度アクセス (IA) 、アーカイブ、コールドアーカイブ、またはDeep Cold ArchiveストレージクラスのOSSバケットにデータを送信できます。 デフォルトでは、出荷されたデータを格納する生成されたOSSオブジェクトのストレージクラスは、指定されたOSSバケットのストレージクラスと同じです。 詳細については、「ストレージクラスの概要」をご参照ください。 標準ストレージクラスではないOSSバケットには、最小ストレージ期間と最小課金サイズの制限が適用されます。 OSSバケットを作成するときは、ビジネス要件に基づいてストレージクラスを指定することを推奨します。 詳細については、「ストレージクラスの違い」をご参照ください。
   ファイル配信ディレクトリ	OSSバケット内のデータを送信するディレクトリ。 ディレクトリ名の先頭をスラッシュ (/) またはバックスラッシュ (\) にすることはできません。 OSSデータ配布ジョブを作成すると、Logstore内のデータがディレクトリに配布されます。
   オブジェクト接尾辞	出荷されたデータが保存されるOSSオブジェクトのサフィックス。 オブジェクトサフィックスを指定しない場合、Simple Log Serviceは、指定したストレージ形式と圧縮タイプに基づいてオブジェクトサフィックスを自動的に生成します。 例:. サフィックス.
   パーティション形式	OSSバケット内のサブディレクトリの生成に使用されるパーティション形式。 サブディレクトリは、出荷時刻に基づいて動的に生成されます。 デフォルトのパーティション形式は % Y/% m/% d/% H/% Mです。パーティション形式はスラッシュ (/) で始めることはできません。 パーティション形式の例の詳細については、「パーティション形式」をご参照ください。 パーティション形式のパラメーターの詳細については、「strptime API」をご参照ください。
   OSS書き込みRAMロール	OSSバケットにデータを書き込むためにOSSデータシッピングジョブを許可するために使用されるメソッド。 有効な値： Default Role: OSSバケットにデータを書き込むために、OSSデータシッピングジョブがAliyunLogDefaultRoleシステムロールを引き受けることを指定します。 このオプションを選択すると、AliyunLogDefaultRoleシステムロールのAlibaba Cloudリソース名 (ARN) が自動的に指定されます。 ARNの取得方法の詳細については、「既定のロールを使用したデータへのアクセス」をご参照ください。 カスタムロール: OSSデータシッピングジョブがOSSバケットにデータを書き込むためのカスタムロールを引き受けることを指定します。 このオプションを選択した場合、カスタムロールにOSSバケットにデータを書き込む権限を付与する必要があります。 次に、OSS Write RAM roleフィールドにカスタムロールのARNを入力します。 ARNの取得方法については、ビジネスシナリオに基づいて次のいずれかのトピックを参照してください。 LogstoreとOSSバケットが同じAlibaba Cloudアカウントに属している場合は、「ステップ2: RAMロールにOSSバケットへのデータ書き込み権限を付与」の手順に従ってARNを取得します。 LogstoreとOSSバケットが異なるAlibaba Cloudアカウントに属している場合、「ステップ2: RAMロールBにOSSバケットにデータを書き込む権限を付与する」の手順に従ってARNを取得します。
   ログストア読み取りRAMロール	OSSデータシッピングジョブがLogstoreからデータを読み取ることを許可するために使用されるメソッド。 有効な値： デフォルトロール: OSSデータ配布ジョブがLogstoreからデータを読み取るためにAliyunLogDefaultRoleシステムロールを引き受けることを指定します。 このオプションを選択すると、AliyunLogDefaultRoleシステムロールのARNが自動的に指定されます。 ARNの取得方法の詳細については、「既定のロールを使用したデータへのアクセス」をご参照ください。 カスタムロール: OSSデータシッピングジョブがカスタムロールを引き受けてLogstoreからデータを読み取ることを指定します。 このオプションを選択した場合、カスタムロールにLogstoreからデータを読み取る権限を付与する必要があります。 次に、[Logstore読み取りRAMロール] フィールドにカスタムロールのARNを入力します。 ARNの取得方法については、ビジネスシナリオに基づいて次のいずれかのトピックを参照してください。 LogstoreとOSSバケットが同じAlibaba Cloudアカウントに属している場合、「手順1: RAMロールにLogstoreからデータを読み取る権限を付与」の手順に従ってARNを取得します。 LogstoreとOSSバケットが異なるAlibaba Cloudアカウントに属している場合、「手順1: RAMロールAにLogstoreからデータを読み取る権限を付与する」の手順に従ってARNを取得します。
   ストレージ形式	データの保存形式。 データがSimple Log ServiceからOSSに出荷された後、データはさまざまな形式で保存できます。 詳細については、「CSV形式」、「JSON形式」、「Parquet形式」、および「ORC形式」をご参照ください。
   圧縮	OSSに出荷されるデータを圧縮するかどうかを指定します。 有効な値： No Compress(none): データは圧縮されません。 Compress(snappy): データはスナッピーアルゴリズムを使用して圧縮されます。 これにより、OSSバケットで占有されるストレージ容量が少なくなります。 詳細については、「snappy」をご参照ください。 Compress(zstd): zstdアルゴリズムを使用してデータを圧縮します。 これにより、OSSバケットで占有されるストレージ容量が少なくなります。 Compress(gzip): データはgzipアルゴリズムを使用して圧縮されます。 これにより、OSSバケットで占有されるストレージ容量が少なくなります。
   船タグ	予約済みフィールド。 詳細については、「予約済みフィールド」をご参照ください。
   バッチサイズ	シャード内のログのデータ量がこのパラメーターの値に達すると、ジョブはデータの送信を開始します。 この値は、各OSSオブジェクトの生データのサイズも決定します。 有効な値: 5 ~ 256 単位：MB。 ジョブは、バッチサイズおよびバッチ間隔パラメーターで指定された条件の1つが満たされている場合にのみデータを送信します。
   バッチ間隔	シャードから取得した最初のログからn番目のログまでの時間差がこのパラメーターの値に達するか、それを超えると、ジョブはデータの送信を開始します。 有効な値: 300〜900。 単位は秒です。 ジョブは、バッチサイズおよびバッチ間隔パラメーターで指定された条件の1つが満たされている場合にのみデータを送信します。
   配送時間	シャードのデータを出荷する2つの操作の間隔。 有効な値: 300〜900。 デフォルト値は 300 です。 単位は秒です。
   配送レイテンシ	データ送信のレイテンシ。 たとえば、値を3600に設定した場合、データは1時間後に出荷されます。 6月5日10:00:00に生成されたデータは、2023月5日2023日11:00:00まで指定されたOSSバケットに書き込まれません。 制限の詳細については、「設定項目」をご参照ください。
   開始時間範囲	OSSデータ送信ジョブが送信できるデータの時間範囲。 時間範囲は、ログが受信された時間によって異なります。 有効な値： すべて: OSSデータシッピングジョブは、ジョブが手動で停止されるまで、最初のログからLogstoreのデータを発送します。 特定の時間から: OSSデータシッピングジョブは、指定された開始時間に受信されたログから、ジョブが手動で停止されるまで、Logstore内のデータを送信します。 特定の時間範囲: OSSデータシッピングジョブは、指定された開始時間に受信されたログから指定された終了時間に受信されたログに、Logstore内のデータを送信します。 説明 時間範囲は __tag __:__ receive_time__ を参照します。 詳細については、「予約済みフィールド」をご参照ください。
   タイムゾーン	時刻のフォーマットに使用されるタイムゾーン。 Time ZoneおよびShard Formatパラメーターを設定すると、設定に基づいてOSSバケットにサブディレクトリが生成されます。

OSSデータの表示

データがOSSに送信された後、OSSコンソールでデータを表示できます。 OSS APIやOSS SDKなどの他の方法を使用してデータを表示することもできます。 詳細については、「オブジェクトの管理」をご参照ください。

oss://OSS-BUCKET/OSS-PREFIX/PARTITION-FORMAT_RANDOM-ID

パーティション形式

Hive、MaxCompute、data Lake Analytics (DLA) などのビッグデータプラットフォームを使用して、OSSデータを分析できます。 パーティション形式の情報を使用する場合は、OSSオブジェクトのURLにキー=値形式でpartition-formatを設定できます。 OSSオブジェクトのURL例: oss:// test-bucket/log_ship_oss_example/year=2022/mon=01/day=20/log_195043_1484913043351525351_2850008.parquet この例では、パーティションキー列として年、月、日を指定します。

SDKの例

export_oss_sink_demo.py