Gpustack V2.0 安装

参考：https://docs.gpustack.ai/latest/installation/nvidia/installation/

PaddleOCR-VL-0.9B 安装参考如下：

显卡：4090D
系统：centos

安装配置如下：

镜像名称：ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddlex-genai-vllm-server
启动命令： paddlex_genai_server --model_name PaddleOCR-VL-0.9B --host 0.0.0.0 --port {{port}} --backend vllm --model_dir /var/lib/gpustack/cache/model_scope/PaddlePaddle/PaddleOCR-VL

启动完成日志如下：

测试：

注意事项：

1.gpustack 中的容器名称一定要和启动命令中的容器名称一致， --model_name PaddleOCR-VL-0.9B
2.一定要指定离线存储的模型文件路径，要不然每次启动都会下载。