本篇文檔主要介紹在使用大模型服務平台百鍊中常見問題。
計費相關
許可權相關
如何給子帳號分配阿里雲百鍊的系統管理權限?
需要給子帳號授權"AliyunSFMFullAccess"許可權,詳細操作步驟請參考RAM子帳號使用方式和授權操作進行操作。
ram子帳號刪除後,之前子帳號建立的API-KEY還能正常使用嗎?
不可以,刪除後API-KEY失效。
如何新增API-KEY?
a.登入阿里雲百鍊大模型服務平台,右上方頭像位置,滑鼠懸浮後,展示API-KEY,點擊後進入API-KEY管理頁面。
b.點擊建立我的API-KEY,在對話方塊中選擇歸屬業務空間後,單擊確定。
說明列表上展示API-KEY密文,點擊【查看】可以看到API-KEY的明文資訊。
當前每個人API-KEY建立上限為10個。
子帳號可以購買阿里雲百鍊服務嗎?
需要主帳號給子帳號授予AliyunSFMFullAccess許可權,才可以開通服務。
AdministratorAccess包含AliyunSFMFullAccess許可權嗎?
不包含,需要單獨給子帳號授予AliyunSFMFullAccess許可權才可以訪問阿里雲百鍊服務。
已給子帳號授予AliyunSFMFullAccess許可權,為何登入百鍊控制台時無法進入?提示需要授權呢?
如需子帳號登入百鍊控制台,需要主帳號給RAM使用者授予使用者角色。配置方式參考:RAM子帳號使用方式和授權操作
API/SDK相關
如何查看錯誤碼資訊?
阿里雲百鍊模型服務的API調用將返回狀態代碼以標識調用結果。通用狀態代碼由阿里雲百鍊約定,各演算法模型還可能在通用狀態代碼的基礎上增加自訂的狀態代碼和狀態資訊。請通過返回結果中的
code
和status
欄位定位調用成功或失敗的詳細資料。HTTP 返回碼
錯誤碼 Code
錯誤資訊 Message
(具體資訊內容可能跟隨情境有所變化)
含義說明
400
InvalidParameter
Required parameter(s) missing or invalid, please check the request parameters.
介面調用參數不合法。
400
InvalidParameter
Either \"prompt\" or \"messages\" must exist and cannot both be none
prompt和messages欄位不能都為空白。
原因可能是格式錯誤,例如通過HTTP調用DashScope服務(非OpenAI相容方式)時,messages需放入input對象中,而不是與model參數並列。
{ "model": "指定模型", "input": { "messages": [ {"role": "user", "content": "你是誰"}, ] }, "parameters": { "result_format": "message" } }
400
InvalidParameter
'messages' must contain the word 'json' in some form, to use 'response_format' of type 'json_object'.
在開啟JSON結構化輸出功能時,未在System Message或User Message指引模型以JSON格式輸出,如:“請以json格式輸出。”。
400
InvalidParameter
File [id:file-fe-***********] format is not supported.
Qwen-Long模型僅限於處理純文字格式檔案,包括TXT、DOCX、PDF、EPUB、MOBI及MD檔案類型。目前不支援圖片或掃描文檔(因其本質上是圖片形式,無法直接提取常值內容)的上傳。如需對圖片內容進行文本提取、分析和總結,您可以使用通義千問VL模型。
400
DataInspectionFailed
data_inspection_failed
Input or output data may contain inappropriate content.
Input data may contain inappropriate content.
Output data may contain inappropriate content.
資料檢查錯誤,輸入或者輸出包含疑似敏感內容被綠網攔截。
400
BadRequest.EmptyInput
Required input parameter missing from request.
請求的輸入不可為空。
400
BadRequest.EmptyParameters
Required parameter "parameters" missing from request.
請求的參數不可為空。
400
BadRequest.EmptyModel
Required parameter "model" missing from request.
請求輸入的模型不可為空。
400
InvalidURL
Invalid URL provided in your request.
請求的URL錯誤。
400
Arrearage
Access denied, please make sure your account is in good standing.
可能原因一:阿里雲帳號因為欠費而被拒絕訪問。請前往費用與成本頁面查看是否欠費或儲值。
可能原因二:調用Batch介面返回該報錯,是因為未開通百鍊服務。請前往百鍊控制台的模型廣場,免費開通百鍊服務,然後用百鍊的API KEY進行調用。
400
UnsupportedOperation
The operation is unsupported on the referee object.
關聯的對象不支援該操作(可以根據實際情況修改)。
400
FlowNotPublished
Flow has not published yet, please publish flow and try again.
流程未發布,請發布流程後再重試。
400
InvalidSchema
Database schema is invalid for text2sql.
請輸入資料庫Schema資訊。
400
InvalidSchemaFormat
Database schema format is invalid for text2sql.
輸入資料表資訊格式異常。
400
FaqRuleBlocked
Input or output data is blocked by faq rule.
命中FAQ規則幹預模組。
400
CustomRoleBlocked
Input or output data may contain inappropriate content with custom rule.
請求或響應內容沒有通過自訂策略。
400
InternalError.Algo
Missing Content-Length of multimodal url.
URL請求的回應標頭資訊缺失
Content-Length
欄位。如果問題無法解決,請嘗試使用其他圖片連結。401
InvalidApiKey
invalid_api_key
Invalid API-key provided.
Incorrect API key provided.
請求中的 ApiKey 錯誤。
403
AccessDenied
access_denied
Access denied.
無權訪問此 API,比如不在邀測中。請前往百鍊控制台,在模型廣場的對應模型卡片下方單擊立即申請發起測試申請。
403
Workspace.AccessDenied
Workspace access denied.
無許可權訪問業務空間的應用或者模型。
如果調用子業務空間的模型,請參考子業務空間的模型調用。
您也可以改為使用主帳號的API KEY,主帳號具有所有業務空間的許可權。
403
Model.AccessDenied
Model access denied.
子帳號無許可權訪問業務空間的模型。請確認以下步驟:
調用時,是否傳入了業務空間標識(目前子帳號無法訪問預設業務空間的應用或模型)。
是否已對子帳號訪問的業務空間做了授權。
是否對訪問的業務空間做了模型的訪問授權。
具體詳情請參考文檔子業務空間的模型調用的前提條件。
403
AccessDenied.Unpurchased
Access to model denied. Please make sure you are eligible for using the model.
您可能還未開通百鍊服務:您需要註冊或登入阿里雲帳號,然後前往模型廣場開通模型服務。
404
WorkSpaceNotFound
WorkSpace can not be found.
使用者空間資訊不存在。
404
ModelNotFound
model_not_found
Model can not be found.
The model xx does not exist.
當前訪問的模型不存在。
404
ModelNotFound
model_not_found
The model xx does not exist or you do not have access to it.
您還未開通百鍊服務,您需要前往模型廣場開通模型服務。
408
RequestTimeOut
Request timed out, please try again later.
Response timeout!
請求逾時,您可嘗試再次發起請求。
可能是因為輸出內容很長導致逾時,您可嘗試採用流式輸出方式發起請求。
413
BadRequest.TooLarge
Payload Too Large.
接入層網關返回請求體過大錯誤,如果錯誤是由MSE網關層直接攔截,則沒有 code,並且 message 不能自訂。如果是RESTful網關攔截,則返回code。
415
BadRequest.InputDownloadFailed
Failed to download the input file: xxx.
下載輸入檔案失敗,可能是由於下載逾時、下載失敗或者檔案超過限額大小,錯誤資訊可以指出更詳細的內容。
415
BadRequest.UnsupportedFileFormat
Input file format is not supported.
輸入檔案的格式不受支援。
429
Throttling
Requests throttling triggered.
介面調用觸發限流。
429
Throttling.RateQuota
Requests rate limit exceeded, please try again later.
調用頻次觸發限流,比如每秒鐘請求次數。
429
Throttling.AllocationQuota
Allocated quota exceeded, please increase your quota limit.
一段時間調用量觸發限流,比如每分鐘產生Token數。
429
LimitRequests
limit_requests
You exceeded your current requests list
超出調用限制,您需等到不滿足限流條件時才能再次調用,部分模型支援申請提高限額。
429
Throttling.AllocationQuota
Free allocated quota exceeded.
免費額度已經到期或者耗盡,並且該模型未支援計費訪問。
429
PrepaidBillOverdue
The prepaid bill is overdue.
業務空間預付費賬單到期。
429
PostpaidBillOverdue
The postpaid bill is overdue.
模型推理商品已失效。
429
CommodityNotPurchased
Commodity has not purchased yet.
業務空間未訂購。
500
InternalError
internal_error
An internal error has occured, please try again later or contact service support.
內部錯誤。
500
InternalError.Algo
An internal error has occured during execution, please try again later or contact service support.
內部演算法錯誤。
500
SystemError
system_error
An system error has occured, please try again later.
系統錯誤。
500
InternalError.Timeout
An internal timeout error has occured during execution, please try again later or contact service support.
非同步任務從網關提交給演算法服務層之後等待時間 3 小時,如果在這期間始終沒有結果,則逾時。
500
RewriteFailed
Failed to rewrite content for prompt.
調用改寫prompt的大模型失敗。
500
RetrivalFailed
Failed to retrieve data from documents.
文檔檢索失敗。
500
AppProcessFailed
Failed to proceed application request.
應用流程處理失敗。
500
ModelServiceFailed
Failed to request model service.
模型服務調用失敗。
500
InvokePluginFailed
Failed to invoke plugin.
外掛程式調用失敗。
503
ModelUnavailable
Model is unavailable, please try again later.
模型暫時無法提供服務。
NetworkError
network_error
Can not find api-key.
環境變數配置沒有生效,您可以重啟用戶端或IDE後重試。更多情況請參考常見問題。
如何安裝SDK?
阿里雲百鍊目前支援Java、Python程式設計語言的SDK,點擊安裝SDK查看詳情。
Assistan-API調用function call ,使用者需要依次調用兩個本地函數,現在支援嗎?
a.目前不支援分別調用兩個函數。
b.手動建立兩個Assistant-API,分別分配兩個Assistan-API的使用返回。
Assistant api 為什麼沒有memory相關的能力?Assistant api 有memory相關的能力嗎?
memory是一個較為複雜的配置功能,在Assistant API 中實現較為複雜。
產品相關
如何開通阿里雲百鍊服務?
登入阿里雲帳號,訪問阿里雲百鍊大模型服務平台。在首頁/模型廣場,均可點擊開通模型服務,按需開通即可。詳細內容請查看:產品開通。
開通阿里雲百鍊服務後如何關閉?
目前,阿里雲百鍊服務開通後暫不支援關閉。如果您通過API來調用模型/應用,您只需要在控制台的API-KEY頁面中刪除API-KEY即可避免後續的調用。
如何體驗大模型服務?
可通過模型體驗中心進行體驗。
阿里雲百鍊和通義千問的區別是什嗎?
阿里雲百鍊是一個提供模型的平台,包含通義千問系列的模型。
如何?業務資料隔離,使不同業務線的同學資料之間不關聯?
可以通過主帳號給不同子帳號授予不同的業務空間許可權,不同業務空間的資料互不影響,存在隔離。詳細操作內容點擊如何使用業務空間查看。
百鍊是否儲存模型調用時傳入的資料?
通過模型API調用模型時,百鍊不會儲存對話資料。調用過程只對調用狀態進行脫敏日誌記錄,調用結束後對明文的提示詞以及應答結果進行銷毀,不會儲存資料。
通過Assistant API調用模型時,百鍊會儲存對話資料以增強使用者體驗,目前暫無資料失效日期。
通過百鍊應用調用模型時:交談記錄預設緩衝60分鐘,緩衝的對話輪數通過“攜帶上下文輪數”參數指定。如果60分鐘內發生一次對話,緩衝的失效時間會往後延60分鐘。如果60分鐘內沒有發生對話,交談記錄將失效,即資料被銷毀。
阿里雲嚴格保護資料隱私,絕不會將您的資料用於模型訓練。同時,您在構建應用或訓練大模型過程中傳輸的資料都會經過加密,確保資料安全。
模型中心
所謂大模型參數是怎麼儲存的?
可以通過魔搭下載模型,會有模型結構的JSON,可以參考JSON內容。一般情況下用開源的Python組件,去解析組件,會有向量資訊,可能理解會有點難度。但是可以瞭解預存程序。
通義千問系列模型支援多少種語言?
14種,分別是中文、英文、阿拉伯語、西班牙語、法語、葡萄牙語、德語、意大利語、俄語、日語、韓語、越南語、泰語、印尼語。
當前模型可以對接結構化資料嗎?比如MySQL和hive等。
當前不支援。但已經在開發中,優先對接RDS服務。
請問Qwen2、千問-MAX等模型的文字產生速度對所有使用者都是固定的嗎,有沒有調速的途徑?
這個速度不是固定的,跟線上資源和使用者所有請求有關。
咱們模型限流觸發後,一般需要等多長時間再次嘗試呢?
這個就和具體限流值相關。比如有的客戶的限流是120qpm,執行2次請求每1秒,那比如0.2秒的時候提交了2次請求,再提交就會被限流,然後需要等0.8秒。
應用中心
目前官方都支援什麼類型的外掛程式?
目前系統提供六款外掛程式能力,分別是:Python代碼解譯器、計算機、圖片產生。其中部分外掛程式需要經過申請通過後才可以使用。
自訂外掛程式能力是否會收費?
自訂外掛程式服務目前暫時不收費,但配置智能體API時如涉及到prompt最佳化、應用調用及測試窗測試,則會收費。
對於我自己定義的外掛程式或函數,assistant-api是如何理解外掛程式或函數的參數,並使用它們的?
自訂API外掛程式是可以理解的,會遵循協議,傳給大模型,讓大模型進行理解。對於函數而言,大模型會學習傳入的參數資訊,會返回完整的結果。
agent和assistant-api的最大區別是什嗎?
調整外掛程式模型、基於內容相關的理解,使用者可以自己去開發,而assistant-api是可以提供各種類,方便調優。
知識檢索增強(RAG)在哪些領域都得到了應用,展開說?
知識檢索增強(RAG)模型憑藉其強大的檢索與產生能力,在問答系統、對話系統、文本摘要、知識圖譜構建與推理、教育與培訓、客戶服務、新聞與內容創作以及智能搜尋與推薦等多個領域均展現出廣泛的應用潛力和價值。
在RAG檢索增強應用進行測試時,會出現模型回複不準確的情況,應該如何最佳化?
您可以點擊模型回複內容下方的問題反饋按鈕,勾選問題類型並提交。也可以複製requestID,通過提交阿里雲工單反饋給我們。
AI輸出後包含**xxxxx**,如何給他變成加粗顯示?
** **是md格式的加粗標識。您可以在前端渲染大模型產生的內容時解析md文法並做對應的渲染。
應用的回複能設定成增量的麼,當前每次都在前一次的基礎上的全量回複。
tream=True, # 設定輸出方式為流式輸出;
incremental_output=True # 增量式流式輸出;
RAG檢索順序是並行還是串列有先後順序?
並行根據每個知識庫的使用者配置進行檢索,然後再根據得分選取topN。
百鍊調用自訂外掛程式的時候能通過模型透傳header嗎,我們有個情境顯示透傳了header,但是根據服務端返回的情況,實際上並沒有透傳。
不支援自訂header, 僅支援authorizarion。
資料管理
上傳檔案僅支援 pdf/doc/docx 檔案, 請重試 錯誤碼:140010
上傳的檔案為PDF格式時,請確保檔案尾碼為小寫pdf。
上傳檔案介面必填的MD5參數,是什麼作用?
用來驗證上傳的檔案是否完整。
支援刪除跟管理文檔標籤的介面嗎?
新版資料中心沒有文檔標籤功能,可以通過建立知識索引進行區分。支援刪除介面,點擊資料中心查看完整內容。
結構化資料中有100條資料,但匯入後發現只有20條資料,是什麼原因?
請確認表格中的資料中是否存在空行。產品策略中如果出現空行後面的資料將不會識別。如果第一行是空行,就會認為是空檔案。