Platform For AI：記憶體緩衝本地目錄

控制台配置

1. 登入PAI控制台，在頁面上方選擇目標地區，並在右側選擇目標工作空間，然後單擊進入EAS。

2. 單擊部署服務，然後在自訂模型部署地區，單擊自訂部署。

3. 在自訂部署頁面，配置以下關鍵參數，其他參數配置說明，請參見服務部署：控制台。

   參數		描述	樣本
   環境資訊	模型配置	選擇OSS類型的掛載方式。	OSS路徑：oss://path/to/models/ 掛載路徑：/data-slow
   	運行命令	配置啟動參數-ckpt-dir，指向加速目錄。	python /run.py -ckpt-dir /data-fast
   服務功能	記憶體緩衝加速	開啟開關，並配置以下參數： 佔用最大記憶體：被加速檔案佔用的最大記憶體，單位GB。被加速檔案佔用的最大記憶體，超過限制時採用LRU策略淘汰。 源路徑：加速檔案的來源目錄，可以是OSS或NAS中的加速檔案掛載到容器中的掛載路徑，也可以是掛載路徑下的子目錄，或者是容器內的其他普通檔案目錄。 掛載路徑：加速檔案的掛載目錄，業務程式需從該目錄中讀模數型。	佔用最大記憶體：20 GB 源路徑：/data-slow 掛載路徑：/data-fast

4. 參數配置完成後，單擊部署。

本地用戶端配置

步驟一：準備設定檔

在掛載配置中增加cache和mount_path參數，在script參數中配置啟動參數-ckpt-dir，同時配置樣本如下。其他參數配置說明，請參見服務模型所有相關參數說明。

   {
    "containers": [
        {
            "image": "****",
            "port": 8000,
            "script": "python /run.py -ckpt-dir /data-fast"
        }
    ],
    "storage": [
        {
            "mount_path": "/data-slow",
            "oss": {
                "path": "oss://path/to/models/",
                "readOnly": false
            },
            "properties": {
                "resource_type": "model"
            }
        },
        {
            "cache": {
                "capacity": "20G",
                "path": "/data-slow"
            },
            "mount_path": "/data-fast"
        }
    ]
}

參數說明：

步驟二：部署模型服務

部署一個模型服務，使其能夠使用本地目錄記憶體緩衝加速的功能。