A/B實驗（ABTest）

使用限制

目前A/B實驗（ABTest）：

• 僅支援華北2（北京）、華東2（上海）、華東1（杭州）和華南1（深圳）地區。

• 暫不支援使用角色SSO的訪問方式，僅支援通過RAM子帳號進行訪問。

計費說明

當前A/B實驗（ABTest）功能已邀測發布，功能本身免費使用。其中會涉及到模型線上服務（EAS）和MaxCompute等相關雲產品，這些雲產品的計費單獨收取，詳情請參見模型線上服務（EAS）計費說明和MaxCompute計費概述。

名詞解釋

實驗管理

• 實驗：需要AB測試的不同實驗版本組合，如AA、 AB、ABC等。實驗的流量來自實驗層，一個實驗層可以包含多個實驗，這些實驗之間的流量是互斥的。實驗管理的是一組參數配置，可以控製程序執行流程。每個版本的流量隨機劃分，不同參數可以對比其效果。

• 實驗專案：商務邏輯的彙總。例如LLM的Agent情境，相似業務情境下的服務可以作為單獨的情境。

• 實驗域：一組流量的集合，可以根據業務屬性按條件式篩選或隨機分配。當由業務決定實驗域流量的劃分，您可以自訂實現劃分邏輯。

• 實驗層：實驗域下包含一個或多個實驗層。每個實驗層的流量是正交（相互獨立）的，承載所在實驗域的所有流量。

流量管理

人群：代表實驗接入的一組特定流量ID（使用者UID）的集合。

指標管理

• 指標：用於評判實驗優劣的效能、服務品質等指標。

• 資料表：統計實驗指標所需的資料來源和相關欄位。

全域配置

發行管理：將效果更好的實驗參數推廣應用。

產品架構

許可權說明

為子帳號授予訪問ABTest的許可權

為子帳號授予 ABTest 的系統管理權限後，RAM使用者即可擁有使用 ABTest 功能的完整許可權。

1. 主帳號登入RAM 控制台。

2. 建立權限原則，選擇指令碼編輯，將下列內容複寫進去即可，策略名稱稱為pai_abtest_full_access。具體操作請參見建立自訂權限原則。

   {
     "Version": "1",
     "Statement": [
       {
         "Effect": "Allow",
         "Action": "paiabtest:*",
         "Resource": "*"
       }
     ]
   }

3. 在授權頁面，將pai_abtest_full_access授予給子帳號即可。具體操作請參見為RAM使用者授權。

為ABTest授予訪問其他雲產品的許可權

A/B實驗（ABTest）需要進行SLR授權，許可權角色名稱為AliyunServiceRoleForPAIABTest。涉及到的許可權內容如下所示。

{
  "Version": "1",
  "Statement": [
    {
      "Action": "ram:DeleteServiceLinkedRole",
      "Resource": "*",
      "Effect": "Allow",
      "Condition": {
        "StringEquals": {
          "ram:ServiceName": "abtest.pai.aliyuncs.com"
        }
      }
    },
    {
      "Effect": "Allow",
      "Action": [
        "odps:ActOnBehalfOfAnotherUser",
        "odps:ListProjects",
        "odps:ListTables"
      ],
      "Resource": "acs:odps:*:*:users/*"
    }
  ]
}