すべてのプロダクト
Search

このプロダクト

    Simple Log Service:JSON 形式

    ドキュメントセンター

    Simple Log Service:JSON 形式

    最終更新日:Sep 11, 2024

    ログがSimple Log ServiceからObject Storage Service (OSS) に送信された後、ログはさまざまな形式で保存できます。 このトピックでは、JSON形式について説明します。

    パラメーター

    次の図は、OSSへのデータ配送パネルでストレージフォーマットパラメーターをjsonに設定した場合に設定する必要があるパラメーターを示しています。 詳細については、「OSSデータ配布ジョブの作成 (新バージョン) 」をご参照ください。

    json

    パラメーター

    説明

    船タグ

    ログのタグフィールドを送信するかどうかを指定します。 例: __tag __: abc

    OSSオブジェクトのURL

    ログがOSSに送信されると、ログはOSSオブジェクトに保存されます。 次の表に、OSSオブジェクトのサンプルURLを示します。

    説明

    • データシッピングジョブの作成時にオブジェクトサフィックスを指定した場合、OSSオブジェクトはサフィックスを使用します。

    • データシッピングジョブの作成時にオブジェクトサフィックスを指定しない場合、OSSオブジェクトは圧縮タイプに基づいて生成されたサフィックスを使用します。

    圧縮タイプ

    オブジェクト接尾辞

    サンプルURL

    説明

    圧縮されていない

    オブジェクトのサフィックスを指定すると、指定されたサフィックスが使用されます。 例: .json.

    oss:// oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json

    JSONファイルをコンピューターにダウンロードして、ファイルをテキストファイルとして開くことができます。 サンプルファイル: 

    {"__time__":"1453809242","__topic__":"","__source__":"10.170.***.***","ip":"10.200.**.***","time":"26/Jan/2016:19:54:02 +0800","url":"POST
              /PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>
              HTTP/1.1","status":"200","user-agent":"aliyun-sdk-java"}

    オブジェクトのサフィックスを指定しない場合、オブジェクトにはサフィックスがありません。

    oss:// oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937

    スナッピー

    オブジェクトのサフィックスを指定すると、指定されたサフィックスが使用されます。 例: .json.

    oss:// oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json

    Snappyを使用してデータを圧縮および解凍する方法の詳細については、「Snappy圧縮ファイルの解凍ツール」をご参照ください。

    問題:

    Snappyを使用してオブジェクトを圧縮し、E-MapReduce (EMR) クラスターにデプロイされたHiveを使用してオブジェクトを読み取ると、次のエラーが発生する可能性があります。

    image

    解決策:

    io.com pression.codec.snappy.native=true; ステートメントを実行し、クエリ操作を実行します。 他のHive関連のエラーが発生した場合は、 チケット

    オブジェクトのサフィックスを指定しない場合は、snappy接尾辞が使用されます。

    oss:// oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.snappy

    gzip

    オブジェクトのサフィックスを指定すると、指定されたサフィックスが使用されます。 例: .json.

    oss:// oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json

    gzipを使用してオブジェクトを圧縮する場合は、gzipをインストールし、gzipコマンドを使用してオブジェクトを解凍できます。

    オブジェクトのサフィックスを指定しない場合は、gzサフィックスが使用されます。

    oss:// oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.gz

    Zstandard

    オブジェクトのサフィックスを指定すると、指定されたサフィックスが使用されます。 例: .json.

    oss:// oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json

    Zstandardを使用してオブジェクトを圧縮する場合は、Zstandardをインストールし、Zstandardコマンドを使用してオブジェクトを解凍できます。

    オブジェクトのサフィックスを指定しない場合は、zstサフィックスが使用されます。

    oss:// oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.zst