人工智能平台 PAI：部署异步推理服务

访问异步推理服务

如上文介绍，系统会默认为您创建和异步推理服务同名的服务分组，因分组内的队列子服务拥有分组流量入口，您可以直接通过下述路径访问队列子服务，详情请参见访问队列服务。

管理异步推理服务

您可以像管理普通服务一样管理异步推理服务，该服务的子服务会由系统自动管理。比如，当您删除异步推理服务时，队列子服务和推理子服务都将被同时删除。或者当您更新推理子服务时，队列子服务维持不变以获取最大的可用性。

由于采用了子服务架构，虽然您为异步推理子服务配置了1个实例，实例列表中仍会额外显示一个队列子服务实例。

异步推理服务的实例数量指的是推理子服务实例的数量，队列子服务的实例数量会随着推理子服务的实例数量自动变化。比如，当您将推理子服务实例数量扩容到3时，队列子服务的实例数量扩容到了2。

两个子服务间的实例数量配比规则如下：

• 当异步推理服务被停止，则队列子服务和推理子服务的实例数量均会缩容到0，这时看到的实例列表为空。

• 当推理子服务的实例数量为1时，队列子服务的实例数量也将为1，除非您配置了队列子服务的参数。

• 当推理子服务的实例数量超过2时，队列子服务的实例数量将保持为2，除非您配置了队列子服务的参数。

• 当您为异步推理服务配置了自动扩缩容功能，且配置了最小的实例数量为0，则当推理子服务缩容到0时，队列子服务将保持1个实例待命。

队列子服务参数配置及说明

大多数情况下，队列子服务使用默认配置即可正常使用。如果有特殊需求，您可以通过在JSON文件中最外层的queue配置块来配置队列实例。示例如下：

{  
  "queue": {
     "sink": {
        "memory_ratio": 0.3
     },
     "source": {
        "auto_evict": true,
     }
 }

下面介绍具体的配置项。

配置队列子服务资源

队列子服务的资源会默认按照metadata中的字段进行配置，但是在有些使用场景下，您需要参考本章节，对队列子服务的资源进行单独配置。

• 通过queue.resource声明队列子服务所使用的资源组。

  {
    "queue": {
      "resource": eas-r-slzkbq4tw0p6xd****  # 默认跟随推理子服务资源组。
    }
  }

  • 队列子服务默认跟随推理子服务的资源组。

  • 当您需要使用公共资源组部署队列子服务时，可以声明resource为空字符串（""），这在您的专属资源组CPU和内存不充足时非常有用。

    说明

    推荐使用公共资源组部署队列子服务。

• 通过queue.cpu和queue.memory声明每个队列子服务实例所使用的CPU（单位：核数）和内存大小（单位：MB）。

  {
    "queue": {
       "cpu": 2,  # 默认值为1。
       "memory": 8000  # 默认值为4000。
    }
  }

  如果您没有进行资源配置，队列子服务将按照1 CPU核、4 GB内存进行默认配置。这可以满足大多数场景的需求。

  重要

  • 如果您的订阅者（比如推理子服务实例的数量）数量超过200时，建议将CPU核数配置为2核以上。

  • 不建议在生产环境中缩小队列子服务的内存配置。

• 通过queue.min_replica配置队列子服务实例的最小数量。

  {
    "queue": {
       "min_replica": 3  # 默认为1。
    }
  }

  在使用异步推理服务时，队列子服务实例的数量将根据推理子服务实例的运行时数量自动调整，默认的调整区间为[1, min{2, 推理子服务实例的数量}]。特殊情况下，如果配置异步推理服务的自动扩缩容规则并允许将实例数量缩小到0时，将自动保留1个队列子服务实例。您也可以通过queue.min_replica调整最小保留的队列子服务实例数量。

  说明

  增加队列子服务实例的数量可以提高可用性，但不能提高队列子服务的性能。

配置队列子服务功能

队列子服务拥有多项可配置的功能，您可以通过以下配置方法进行调整。

• 通过queue.sink.auto_evict或者queue.source.auto_evict分别配置输出/输入队列自动数据驱逐功能。

  {
    "queue": {
       "sink": {
          "auto_evict": true  # 输出队列打开自动驱逐，默认为false。
        },
        "source": {
           "auto_evict": true  # 输入队列打开自动驱逐，默认为false。
        }
    }
  }

  默认情况下队列子服务的自动数据驱逐功能处于关闭状态，如果您的队列已满将无法继续输入数据。在某些场景下，如果您允许数据在队列中溢出，可以选择打开自动数据驱逐功能，队列将自动驱逐最老的数据以允许新数据写入。

• 通过queue.max_delivery配置最大投递次数。

  {
     "queue": {
        "max_delivery": 10  # 最大投递次数为10，默认值：5。当配置为0时，最大投递次数关闭, 数据可以被无限次投递。
     }
  }

  当单条数据的尝试投递次数超过设定阈值时，该数据将被视为无法处理，并将其标记为死信。详情请参见队列实例的死信策略。

• 通过queue.max_idle配置数据的最大处理时间。

  {
      "queue": {
        "max_idle": "1m"  # 配置单条数据最大处理时长为1分钟，如果超过该时间将被投递给其它订阅者, 投递完毕后投递次数+1。默认值为0，即没有最大处理时长。
      }
  }

  示例中配置的时间长度为1分钟，支持多种时间单位，如h（小时）、m（分钟）、s（秒）。如果单条数据处理的时间超过了这里配置的时长，则有两种可能：

  • 如果未超过queue.max_delivery设定的阈值，该条数据会被投递给其他订阅者。

  • 如果已超过queue.max_delivery设定的阈值，该条数据将会被执行死信策略。

• 通过queue.dead_message_policy配置死信策略。

  {
      "queue": {
        "dead_message_policy":  "Rear"  # 枚举值为Rear（默认值）或者Drop, Rear即为放入队列末尾，Drop将该条数据删除。 																 
      }
  }

配置队列最大长度或最大数据体积

队列子服务的最大长度和最大数据体积是此消彼长的关系，计算关系如下所示：

队列子服务实例内存是固定的，因此如果调整单条数据最大体积，则会导致该队列最大长度减小。

• 通过queue.sink.max_length或者queue.source.max_length分别配置输出队列/输入队列的最大长度。

  {
      "queue": {
         "sink": {
            "max_length": 8000  # 配置输出队列最大长度为8000条数据。
         },
         "source": {
            "max_length": 2000  # 配置输入队列最大长度为2000条数据。
         }
      }
  }

• 通过queue.sink.max_payload_size_kb或者queue.source.max_payload_size_kb分别配置输出队列/输入队列单条数据最大数据体积。

  {
      "queue": {
         "sink": {
            "max_payload_size_kb": 10  # 配置输出队列单条数据最大体积是10 KB, 默认8 kB。
         },
         "source": {
            "max_payload_size_kb": 1024  # 配置输入队列单条数据最大体积是1024 KB(1MB), 默认是8 kB。
         }
      }
  }

配置内存分配倾斜

• 通过queue.sink.memory_ratio来调整输入输出两个队列占用的内存大小。

  {
      "queue": {
         "sink": {
            "memory_ratio": 0.9  # 配置输出队列内存占比，默认值为0.5。
         }
      }
  }

  说明

  默认配置下，输入队列和输出队列均分队列子服务实例的内存。如果您的服务需要输入文本、输出图片，并期望在输出队列存放更多数据，则可以将queue.sink.memory_ratio相应提高；相反，如果您期望输入图片、输出文本，则可以将queue.sink.memory_ratio相应减小。