最適化レポート - Platform For AI - Alibaba Cloud ドキュメントセンター

Machine Learning Platform for AI (PAI)-Bladeを使用してモデルを最適化した後、システムは最適化レポートを生成します。このトピックでは、最適化レポートの構造とパラメーターについて説明します。

blade.optimizeメソッドを呼び出してモデルを最適化すると、最適化レポートが生成され、JSON形式のパラメーターが含まれます。次のサンプルコードは、最適化レポートの構造を示しています。

Report: {
  // The software environment information, including the framework and Compute Unified Device Architecture (CUDA). 
  "software_context": [
    {
      "software": "tensorflow",
      "version": "1.15.0"
    },
    {
      "software": "cuda",
      "version": "9.0.176"
    }
  ],
  // The hardware environment information. 
  "hardware_context": {
    "device_type": "gpu",
    "microarchitecture": "T4"
  },
  "user_config": "",
  // The diagnostic information. 
  "diagnosis": {
    "model": "tmp_graph.pbtxt",           
    "test_data_source": "user provided",  
    "shape_variation": "dynamic",         
    "message": "",
    "test_data_info": "input_ids_a_1:0 shape: (1, 9240) data type: int32"
  },
  // The optimization items that achieve optimization effects. 
  "optimizations": [
    {
      "name": "TfStripUnusedNodes", 
      "status": "effective",        
      "speedup": "na",              
      "pre_run": "na",              
      "post_run": "na"              
    },
    {
      "name": "TfAutoMixedPrecisionGpu",
      "status": "effective",
      "speedup": "1.42",
      "pre_run": "9.35 ms",
      "post_run": "6.59 ms"
    }
  ],
  // The end-to-end optimization results. 
  "overall": {
    "baseline": "10.00 ms",   
    "optimized": "4.38 ms",   
    "speedup": "2.28"         
  },
  // The model information. 
  "model_info": {
    "input_format": "frozen_pb"  
  },
  
  // The compatibility information. 
  "compatibility_list": [
    {
      "device_type": "gpu",
      "microarchitecture": "T4"
    }
  ],
  "model_sdk": {}
}

次の表に、最適化レポートのパラメーターを示します。

パラメーター		説明
software_context		フレームワークとCUDAを含むソフトウェア環境情報。
hardware_context		デバイスタイプと仕様を含むハードウェア環境情報。
user_config		ユーザー設定情報。 PAI-Bladeによって生成された最適化レポートでは、このパラメーターは空のままです。
診断	モデル	モデルファイルの名前。
	test_data_source	テストデータのソース。有効な値： user provided: テストデータはユーザーによって提供されます。ブレード推定: テストデータはPAI-bladeによって推定されます。
	shape_variation	入力シェイプのバリエーション。有効な値：静的 multiple_static_shapes ダイナミック
	message	PAI-Bladeがテストデータの推論に失敗した場合に返されるエラーメッセージ。
	test_data_info	形状やデータ型など、テストデータに関する情報。
最適化	name	最適化アイテムの名前。
	status	最適化が有効かどうかを示します。有効な値：有効: 最適化が有効になります。無効: 最適化は有効になりません。
	スピードアップ	加速率。次の式を使用して計算されます。`speedup = pre_run/post_run`。
	pre_run	最適化前のスピード。
	post_run	最適化後のスピード。
全体	ベースライン	加速前のレイテンシ。
	optimized	加速後のレイテンシ。
	スピードアップ	加速比。次の式を使用して計算されます。`スピードアップ=ベースライン /最適化`。
model_info	input_format	元のモデルの形式。
compatibility_list		互換性情報。最適化されたモデルを適切に実行し、期待されるパフォーマンスを実現できるようにするには、互換性情報に記載されているデバイスでモデルを実行する必要があります。
model_sdk		モデルのデプロイに必要な追加のSDK情報。このパラメータは空のままです。