人工智能平台 PAI：Python接口文档

PAI-Blade主要使用optimize接口进行模型优化，接口详情如下：

• 签名格式

  def optimize(
      model: Any,
      optimization_level: str,
      device_type: str,
      config: Optional[Config] = None,
      inputs: Optional[List[str]] = None,
      outputs: Optional[List[str]] = None,
      input_shapes: Optional[List[List[str]]] = None,
      input_ranges: Optional[List[List[str]]] = None,
      test_data: List[Dict[str, np.ndarray]] = [],
      calib_data: List[Dict[str, np.ndarray]] = [],
      custom_ops: List[str] = [],
      verbose: bool = False,
  ) -> Tuple[Any, OptimizeSpec, OptimizeReport]:
      pass

• 输入参数

  参数	类型	是否必选	描述	默认值
  model	多种	是	待优化的模型，支持以下类型的模型： 如果优化TensorFlow模型，支持以下格式： GraphDef对象。 GraphDef PB文件路径，即以.pb或.pbtxt为后缀的文件。 SavedModel目录，字符串格式的路径。 如果优化PyTorch模型，支持以下格式： torch.nn.Module对象。 torch.nn.Module导出的文件，字符串格式的路径，该文件以.pt为后缀。	无
  optimization_level	STRING	是	优化级别，取值如下（不区分大小写）： o1：表示无损优化，包括图改写、编译优化等。 o2：表示量化优化。	无
  device_type	STRING	是	模型运行的设备类型，取值如下（不区分大小写）： gpu cpu edge （暂不支持PyTorch）	无
  inputs	LIST[STRING]	否	输入节点名称。如果不指定该参数，则系统尝试自动推断。	None
  outputs	LIST[STRING]	否	输出节点名称。如果不指定该参数，则系统尝试自动推断。	None
  input_shapes	LIST[LIST[STRING]]	否	输入Tensor可能的形状，用于提升特定场景的优化效果。内层列表元素个数必须等于模型输入Tensor的数量，每个元素是一个字符串，表示某种输入的形状，例如'1*512'。如果有多组可能的形状，则在外层列表中增加元素即可。例如，有两个输入的模型可能有如下形状或若干组可能的形状，取值示例如下： [['1*512', '3*256']] [ ['1*512', '3*256'], ['5*512', '9*256'], ['10*512', '27*256'] ]	None
  input_ranges	LIST[LIST[STRING]]	否	每个输入Tensor的元素取值范围。内层列表元素数量必须等于模型输入Tensor的数量，每个元素是一个字符串，表示某种取值范围。 取值范围可以使用方括号加实数或字符表示，例如'[1,2]'、'[0.3,0.9]'及'[a,f]'等。如果有多组可能的取值范围，则在外层列表中增加元素即可。例如，有两个输入的模型可能有如下取值范围或若干组可能的取值范围，取值示例分别如下： [['[0.1,0.4]', '[a,f]']] [ ['[0.1,0.4]', '[a,f]'], ['[1.1,1.4]', '[h,l]'], ['[2.1,2.4]', '[n,z]'] ]	None
  test_data	多种	否	用于模型执行速度校准的测试数据。对于不同类型的模型，其测试数据格式存在差异，其中： TensorFlow模型的测试数据为包含若干组feed_dict的列表，类型为LIST[DICT[STRING, np.ndarray]]。 PyTorch模型的测试数据为若干组输入Tensor Tuple，类型为LIST[Tuple[torch.tensor, ]]。	[]
  calib_data	多种	否	用于量化优化的校准数据。当优化级别为o2时，必须指定该参数。校准数据的数据类型与测试数据相同。	[]
  custom_ops	LIST[STRING]	否	自定义算子库的路径。如果模型中包含用户的自定义算子库文件，需要把依赖的库文件路径放到列表中。	[]
  verbose	BOOL	否	是否打印更多日志，包括如下取值： True：打印更多日志 False：无需打印更多日志	False
  config	blade.Config	否	高级配置，详情请参见下方的blade.Config参数表。	无

  blade.Config用于传递优化的高级参数，其构造函数的签名如下。

  class Config(ABC):
      def __init__(
          self,
          disable_fp16_accuracy_check: bool = False,
          disable_fp16_perf_check: bool = False,
          enable_static_shape_compilation_opt: bool = False,
          enable_dynamic_shape_compilation_opt: bool = True,
          quant_config: Optional[Dict[str, str]] = None,
      ) -> None:
          pass

  签名中的参数含义如下表所示。

  表 1. blade.Config

  参数	是否必选	类型	描述	默认值
  disable_fp16_accuracy_check	否	BOOL	是否在fp16优化中开启准确性校验，取值如下： False：关闭准确性校验 True：开启准确性校验	False
  disable_fp16_perf_check	否	BOOL	是否在fp16优化中开启性能校验，取值如下： False：关闭性能校验 True：开启性能校验	False
  enable_static_shape_compilation_opt	否	BOOL	是否开启固定尺寸的编译优化，即Static Shape模式编译，取值如下： False：关闭固定尺寸的编译优化 True：开启固定尺寸的编译优化	False
  enable_dynamic_shape_compilation_opt	否	BOOL	是否开启动态尺寸的编译优化，即Dynamic Shape模式编译，取值如下： False：关闭动态尺寸的编译优化 True：开启动态尺寸的编译优化	True
  quant_config	否	DICT[STRING, STRING]	量化优化相关的配置。目前仅支持唯一的key值weight_adjustment，表示是否尝试调整模型参数以减小量化精度损失。该key值对应的value包括如下取值： "true"：开启该选项。 "false"：关闭该选项。	None

• 返回值

  返回一个具有三个元素的Tuple，类型为Tuple[Any, OptimizeSpec, OptimizeReport]。其中三个元素的详细信息如下表所示。

  序号	含义	类型	描述
  ①	优化后的模型	多种	其类型与输入模型相同。例如TensorFlow SavedModel的返回结果是GraphDef对象。
  ②	优化的外部依赖	OptimizeSpec	Python中通过with语句使达到预期优化效果的外部依赖都生效，该依赖包括环境变量、编译缓存等。SDK中暂不需要该参数。
  ③	优化报告	OptimizeReport	详情请参见优化报告。