xverse

/

XVERSE-13B-256K

like 29

用tensorRT的话，八卡能跑256k

用tensorRT的话，八卡能跑256k

你好，请问是什么样的显卡配置，谢谢

我们用的h800或者a800，单卡80G

13b 模型需要这么大的显存吗？640GB？！我运行Vicuna 13b 16k 未量化只需要30多GB啊。

我查看了65B模型的介绍页，硬件需求如下：
XVERSE-65B Inference BF16/FP16 500GB 2*A800 80G

65B模型推理只需要2张A800，为什么13B需要更多显存呢？

13b 模型需要这么大的显存吗？640GB？！我运行Vicuna 13b 16k 未量化只需要30多GB啊。

跑16K不用那么多显存，跑256K需要8卡。因为显存随着序列长度成平方倍增长

我查看了65B模型的介绍页，硬件需求如下：
XVERSE-65B Inference BF16/FP16 500GB 2*A800 80G

65B模型推理只需要2张A800，为什么13B需要更多显存呢？

跑256K需要8卡，因为显存随着序列长度成平方倍增长

我查看了65B模型的介绍页，硬件需求如下：
XVERSE-65B Inference BF16/FP16 500GB 2*A800 80G

65B模型推理只需要2张A800，为什么13B需要更多显存呢？

跑256K需要8卡，因为显存随着序列长度成平方倍增长

是的，非常对