GPU扩容

[mandone]

System Info / 系統信息

V100 * 8

Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece？

• docker / docker
• pip install / 通过 pip install 安装
• installation from source / 从源码安装

Version info / 版本信息

13.3

The command used to start Xinference / 用以启动 xinference 的命令

xinference-local --host 0.0.0.0 --port 8080

Reproduction / 复现过程

目前在机器上用了两张V100卡部署GLM4，现在发现显存不太够用，如何无缝衔接的再添加两张显卡

Expected behavior / 期待表现

目前在机器上用了两张V100卡部署GLM4，现在发现显存不太够用，如何无缝衔接的再添加两张显卡

[qinxuye]

n-gpu 指定卡的个数。

[mandone]

那是要重新启动后台服务？ @qinxuye

[qinxuye]

不需要，停掉模型重新 launch。

[mandone]

也就是模型短暂是不可用的对吧

[xiaoyesoso]

如何不停模型服务，直接扩容呢？

[qinxuye]

开源不支持这个特性。