vllm指定gpu序号
如果想要指定vllm serve 运行的1号gpu，不能仅仅在前面加CUDA_VISIBLE_DEVICES=1；还需要在参数里指定device = cuda,因为不指定的话默认device是auto。
·
如果想要指定vllm serve 运行的1号gpu，不能仅仅在前面加CUDA_VISIBLE_DEVICES=1；
还需要在参数里指定device = cuda,因为不指定的话默认device是auto。
所以运行的命令应该是：
CUDA_VISIBLE_DEVICES={gpu序号} vllm serve {模型路径} --device cuda
电影级数字人，免显卡端渲染SDK，十行代码即可调用，工业级demo免费开源下载！
更多推荐
5
0- 0
已为社区贡献1条内容
所有评论(0)