Platform For AI：PAI官方鏡像

簡介

Python 是一種簡單易用、功能強大的進階程式設計語言，在機器學習中主要用於資料處理、模型開發和訓練，它擁有豐富的庫（如 NumPy、PyTorch、TensorFlow 等）和極高的開發效率。阿里雲PAI提供兩種類型的 Python鏡像。

1. CPU版鏡像：基於原ubuntu鏡像構建，用於CPU計算的基礎鏡像。

2. GPU版鏡像：基於原cuda鏡像構建，用於GPU計算的基礎鏡像。

主要特性

1. 支援 Ubuntu 22.04 和 Ubuntu 24.04 兩個版本的 Ubuntu鏡像。

2. 支援阿里雲的高效能網路RDMA。

3. 支援不同版本的Python，涵蓋 3.10 到 3.14。

4. 支援不同版本的CUDA，涵蓋 12.4 到 13.0。

5. 內建常用開發工具如curl、git、wget、rclone、ping等。

6. pip和apt使用阿里雲鏡像源。

簡介

阿里雲PAI平台提供兩種類型的PyTorch鏡像。

1. 基於阿里雲PAI提供的 Python 鏡像構建，在 Python鏡像的基礎上新增了PyTorch、TorchVision、TorchAudio 軟體包，涵蓋了Python鏡像的所有特性，覆蓋了2.4.0以上的pytorch官方發布的版本。

2. 基於NGC提供的PyTorch鏡像構建， 內建了常用開發工具，pip和apt使用阿里雲鏡像源。

標籤說明

-accl：

1. 預裝 ACCL：阿里雲高效能集合通訊庫的鏡像，在NCCL的基礎上可以為客戶提供更高的通訊效能。

2. 基於ACCL版本的鏡像進行開發訓練時需使用預置的Python環境。如果需要使用Python虛擬環境，需要參考安裝方法，在相應環境下配置ACCL庫，才能使用ACCL的特性。

-ngc：

1. 基於NGC的PyTorch鏡像構建的鏡像，標籤中包含NGC鏡像的版本資訊，如2.10.0-gpu-py312-cu130-ubuntu24.04-ngc25.11是基於NGC 25.11 版本的PyTorch鏡像構建。

2. 關於NGC PyTorch鏡像的特性可以參考 NVIDIA 官方文檔。

簡介

Data-Juicer 是一個面向資料清洗與預先處理的分布式架構，底層依託於Ray的分布式能力，廣泛用於大模型訓練前的資料品質提升、多模態資料融合等情境。阿里雲 PAI 提供兩種類型的 Data-Juicer 鏡像，方便使用者在 CPU 或 GPU 環境中快速搭建資料處理流水線並運行分布式資料作業。鏡像內建的 Data-Juicer 包含全套資料處理器、品質評估工具與可視化分析等預設能力。

1. CPU 版鏡像：基於 PAI 的 CPU 基礎鏡像構建，適用於純 CPU 的大規模資料清洗、文本處理等簡單的處理任務。

2. GPU 版鏡像：基於 PAI 的 CUDA 基礎鏡像構建，適用於需要 GPU 加速的模型推理、品質評分等資料處理任務。

主要特性

• 支援 Ubuntu 22.04的基礎鏡像。

• 支援阿里雲高效能網路 RDMA，適用於高吞吐、低時延的分布式資料載入與處理情境。

• 內建 Data-Juicer 運行環境（含全套處理器），可用於快速啟動資料處理任務並通過Ray Dashboard進行分析與監控。

• 支援 CPU / GPU 異構資源調度，滿足資料清洗、品質評估、資料產生等多模態資料相關的多樣化工作負載需求。

• pip 和 apt 預設使用阿里雲鏡像源，提升依賴安裝速度與穩定性。

簡介

Responsible AI 是一套貫穿人工智慧模型全生命週期的核心原則與實踐方法，旨在確保 AI 系統在開發、訓練、微調、評估和部署等各環節中具備安全性、可靠性、公平性、透明性和合規性，是企業構建可信 AI、規避風險、贏得使用者信任的關鍵保障。阿里雲 PAI 為支援 Responsible AI 實踐，提供兩類基礎鏡像：

1. CPU 版鏡像：基於Ubuntu官方鏡像構建，適用於通用CPU計算情境，整合 Responsible AI 所需的工具鏈。

2. GPU 版鏡像：基於CUDA官方鏡像構建，面向高效能GPU情境，整合 Responsible AI 所需的工具鏈。

主要特性

1. 支援 Ubuntu 22.04 版本的 Ubuntu鏡像。

2. 支援不同版本的Python，涵蓋3.11到3.14。

3. 支援CUDA版本11.8。

4. 內建Responsible AI可視化分析工具，提供互動式儀錶盤，支援模型公平性、錯誤分析等多維度分析，協助開發人員直觀識別潛在偏見和錯誤。

5. 支援差分隱私訓練，在模型訓練過程中注入可控雜訊，防止敏感性資料泄露，滿足資料合規與隱私保護要求。

6. 內建RAI模型加密SDK：整合 RAI_SAM_SDK，支援大模型分區加密儲存與授權解密推理流程。

簡介

Ray 是一個面向分散式運算的高效能架構，廣泛用於大規模機器學習訓練、超參數搜尋、強化學習以及線上推理等情境。阿里雲 PAI 提供兩種類型的 Ray 鏡像，方便使用者在 CPU 或 GPU 環境中快速搭建 Ray 叢集並運行分布式作業。鏡像內建的 Ray 依賴採用 ray[default] 方式安裝，包含 Ray Dashboard、常用運行時組件等預設能力。

1. CPU 版鏡像：基於 PAI 的 CPU 基礎鏡像構建，適用於純 CPU 的分散式運算與資料處理任務。

2. GPU 版鏡像：基於 PAI 的 CUDA 基礎鏡像構建，適用於需要 GPU 加速的訓練、推理與大規模並行計算任務。

主要特性

• 支援 ubuntu 22.04 和 ubuntu 24.04 兩個版本的基礎鏡像。

• 支援阿里雲高效能網路 RDMA，適用於高吞吐、低時延的分布式通訊情境。

• 內建 Ray 運行環境（含常用組件），可用於快速啟動 Ray Head/Worker 並運行任務。

• 支援 CPU / GPU 異構資源調度，滿足訓練、資料處理與推理等多樣化工作負載需求。

• pip 和 apt 預設使用阿里雲鏡像源，提升依賴安裝速度與穩定性。

簡介

ModelScope Library目前支援模型和資料集的擷取和管理，以及基於PyTorch、TensorFlow等學習架構基礎上進行模型訓練、推理， 在Python 3.8+、PyTorch 1.11+、TensorFlow上測試可運行。ModelScope為您提供了官方鏡像，可以跳過所有的環境安裝和配置，直接使用，更多內容請參見ModelScope官方鏡像。

簡介

TorchEasyRec 是一款易用的推薦系統深度學習架構，覆蓋召回（Matching）、排序（Ranking）、多任務學習與產生式推薦等常見情境。通過簡單配置與便捷的自訂擴充能力，可加速高效能推薦模型的開發與落地。

阿里雲PAI提供官方的TorchEasyRec鏡像，預裝了pytorch、torchrec、fbgemm、tensort 等依賴。鏡像提供兩種類型：

1. GPU 版本：基於Ubuntu 22.04 構建，支援 CUDA 加速訓練，適用於大規模推薦模型的高效能訓練情境（建議）。

2. CPU 版本：基於Ubuntu 22.04 構建，適用於開發調試、小規模訓練情境（註：部分Op只包含GPU版本）。

簡介

Triton Inference Server（通常稱為 Triton Server）是由 NVIDIA 開發的一款高效能推理伺服器，旨在簡化和加速機器學習模型的部署和推理過程。它支援多種深度學習架構（例如 TensorFlow、PyTorch、ONNX Runtime 等），並提供了一致的介面來處理不同的模型和資料類型。

主要特性

1. 多架構支援：Triton Server 支援多種深度學習架構和模型格式，使得使用者可以在一個統一的平台上部署不同類型的模型。

2. 高輸送量和低延遲：Triton 通過支援批處理和並行推理來提高推理效能。同時，Triton 還支援 GPU 加速，能夠充分利用 NVIDIA GPU 的計算能力。

3. 動態模型管理：Triton 允許動態載入和卸載模型，使用者可以根據需要靈活管理模型版本，支援 A/B 測試和模型更新。

4. 簡單的 API 和可擴充性：Triton 提供了 REST 和 GRPC 介面，使得與其他系統的整合變得方便。此外，Triton 還可以與 Kubernetes 等容器編排系統進行無縫整合，從而實現大規模的推理服務部署。

5. 支援異構硬體：除了 NVIDIA GPU，Triton 還可以在 CPU 和其他加速器上執行，支援在不同硬體和平台上的部署。

6. 自訂後處理：使用者可以根據需要對推理結果進行自訂處理，以適應特定的應用情境。

簡介

ComfyUI 是一個基於節點（Node-based）的圖形化使用者介面工具，專為運行和定製 Stable Diffusion 等擴散模型（Diffusion Models）而設計。它通過可視化工作流程（Workflow）讓使用者以拖拽方式構建映像產生流程，無需編寫代碼即可靈活控制產生邏輯，同時支援高度模組化和可複用的提示工程與模型組合。

主要特性

1. 節點式工作流程：將文本編碼、採樣器、模型載入、映像後處理等步驟拆分為獨立節點，使用者可自由串連組合，實現精細控制。

2. 高效資源管理：僅載入當前流程所需模型，顯存佔用更低，支援批量產生與複雜流程最佳化。

3. 高度可擴充：支援自訂節點外掛程式，社區生態豐富（如 ControlNet、LoRA、Upscale 等），易於整合新模型或功能。

4. 工作流程可儲存/共用：整個產生流程可匯出為 JSON 檔案，便於複現、協作或部署到其他環境。

簡介

PAI-RAG 是阿里雲人工智慧平台 PAI 推出的企業級檢索增強產生（RAG）對話系統解決方案，基於 PAI-EAS（模型線上服務）提供開箱即用的 RAG 能力。它深度融合 LLM 與知識檢索技術，支援通過情境化部署快速構建私人知識問答、智能客服等應用，並提供開源模組化架構（GitHub: aigc-apps/PAI-RAG）供開發人員靈活定製。

主要特性

• 多向量庫支援：原生適配 Elasticsearch、Hologres、Tablestore、Milvus 等主流向量資料庫，滿足不同規模企業需求。

• 連網搜尋增強：支援配置即時網路檢索能力，突破模型預訓練資料時效限制，提升答案準確性與時效性。

• 靈活部署與整合：提供 WebUI 可視化介面、RESTful API 及 OpenAI 相容介面，便於快速整合至現有業務系統。

• 知識庫全生命週期管理：支援通過 WebUI 或 OSS 上傳/管理文檔，提供切片、向量化、版本更新等一站式知識庫營運能力。

簡介

vLLM 是開源大語言模型（LLM）推理與服務引擎，旨在高效部署和運行各類開源大模型。通過記憶體管理與調度技術，在保證低延遲的同時顯著提升輸送量，是主流的 LLM 推理架構。

主要特性

1. PagedAttention：核心創新技術，借鑒作業系統分頁機制動態管理 KV Cache，消除顯存片段，使顯存利用率提升數倍。

2. 連續批處理（Continuous Batching）：動態合并不同長度的請求進行並行解碼，大幅提升 GPU 利用率與輸送量。

3. 高吞吐低延遲：在相同硬體下支援更高並發，適合高流量生產環境部署。

4. 易用性強：提供簡潔 Python API 與 OpenAI 相容介面，可快速整合至現有應用。

5. 生態豐富：原生支援 LoRA 微調推理、多模態模型、工具調用（Function Calling）等進階功能。

簡介

EasyAnimate 是阿里雲 PAI基於 Diffusion Transformer（DiT）架構自主研發的端到端高清長視頻產生架構。支援通過文本或映像快速產生高品質視頻（文生視頻/圖生視頻），並提供從資料預先處理、VAE 訓練到 DiT 推理的完整解決方案 。

主要特性

• 高解析度長視頻產生：支援產生 1024×1024 解析度、時間長度可達 6 秒及以上的連貫視頻。

• 多模態輸入：同時支援文本提示詞（text-to-video）和映像輸入（image-to-video）產生動態視頻。

• 完整訓練體系：提供 VAE、DiT 基本模型及 LoRA 微調的端到端訓練能力，便於使用者定製化開發。

• 工業級部署友好：作為 PAI 推理服務的官方支援方案，可無縫整合至雲上推理平台，適用於生產環境。

簡介

Kohya是 Stable Diffusion 微調訓練指令碼所衍生的生態工具集。基於指令碼封裝的 Gradio 圖形介面版本極大降低了 LoRA、DreamBooth 等模型微調的使用門檻 。

主要特性

• 多訓練方法支援：原生支援 LoRA、DreamBooth、全參數微調（Fine-tuning）以及 SDXL 模型訓練。

• 圖形化操作介面：提供直觀的 Web UI（基於 Gradio），使用者可通過表單配置參數，無需編寫命令列。

• 跨平台相容：主要面向 Windows 設計，同時也支援 Linux 和 macOS 環境。

• 全流程工具鏈：整合資料預先處理、自動打標（captioning）、訓練監控與模型匯出等環節，覆蓋微調訓練完整生命週期。

• 開源與社區活躍：專案完全開源，社區持續維護並適配主流推理架構（如 Stable Diffusion WebUI），便於訓練成果直接部署使用。

簡介

Stable-Diffusion-WebUI是開源圖形化介面工具，用於本地部署和運行 Stable Diffusion 系列模型。大大降低了文生圖、圖生圖等產生式 AI 的使用門檻。

主要特性

• 多模態產生：支援文生圖（txt2img）、圖生圖（img2img）、內補繪製（inpainting）、外補繪製（outpainting）等主流產生模式。

• 豐富的擴充生態：內建外掛程式系統，支援 ControlNet、LoRA、T2I-Adapter 等主流擴充，靈活增強產生控制能力。

• 訓練與微調整合：提供 DreamBooth、LoRA、Textual Inversion 等模型微調功能，支援使用者定製專屬模型。

• 跨平台部署：支援 Windows、Linux、macOS 及 Google Colab，適配 CPU/GPU（NVIDIA/AMD）多種硬體環境。

• 方便使用：基於 Gradio 構建 Web 介面，參數可視化配置，適合從新手到專業開發人員的全階段使用者。

簡介

CosyVoice是新一代高保真語音合成模型，具備語音複製功能，僅需30秒以內的Prompt音頻即可複製目標音色，支援跨語種複刻。適用於客服對話、有聲書朗讀、短視頻配音等多種情境。阿里雲PAI-EAS基於該模型封裝並整合了可視化WebUI介面，可快速部署雲端語音推理服務。

主要特性

• 零樣本語音複製：僅需 3~10 秒參考音頻即可複刻目標音色，實現個人化語音產生。

• 多語言與跨語言合成：支援中文、英文、日語、韓語等多種語言，並可跨語言保持音色一致性。

• 情感與細粒度控制：通過自然語言描述精準控制情感、笑聲、呼吸聲等語音細節。

• 高度擬人化：在語調、韻律、停頓等維度接近真人發音，顯著優於傳統 TTS 技術。

• 即時資料流式合成：支援文本到語音的低延遲流式輸出，適用於即時互動情境。

• 全棧工具鏈：提供從推理、訓練到部署的完整能力，便於工業級應用整合。

簡介

SGLang（Structured Generation Language）是一個高效能大語言模型推理與服務架構。它採用“前端語言 + 後端運行時”協同設計：前端提供結構化產生程式設計語言，用於編寫可控的產生邏輯；後端是最佳化的推理引擎（SGLang Runtime），支援低延遲、高吞吐的模型服務 。

主要特性

• 結構化可控產生：原生支援通過 JSON Schema、Regex等約束精確控制輸出格式，解決傳統 Prompt 工程的表達力局限。

• 高效能推理：採用 RadixAttention、Radix Cache 等創新最佳化技術，在輸送量上相比主流方案提升 3–5 倍。

• 多模態支援：同時適配純文字大模型（LLM）和視覺語言模型（VLM），支援映像、視頻等多模態輸入。

• 靈活易整合：提供簡潔的 Python API，可替代 OpenAI API 用於複雜提示工作流程，降低開發門檻。

簡介

TensorFlow Serving 是高效能開源機器學習模型服務系統。作為 TensorFlow Extended（TFX）生態系統的核心組件，它可將訓練完成的 TensorFlow 模型（SavedModel 格式）快速部署為線上推理服務，並通過 gRPC 和 RESTful API 對外提供調用介面。

主要特性

• 模型版本管理：支援多版本模型並行載入與無縫熱更新，便於灰階發布和復原。

• 高效能推理：針對生產環境最佳化的調度與批處理機制，保障低延遲、高吞吐的服務能力。

• 開箱即用整合：原生支援 TensorFlow SavedModel 格式，無需額外轉換即可部署。

• 靈活擴充架構：提供可插拔的 Servable、Source、Manager 等組件，支援自訂載入邏輯與服務策略。

• 多協議支援：同時提供 gRPC（高效能）和 HTTP/REST（易整合）兩種提供者，適配不同用戶端需求。