请问如何设置batch
#13
by
william0014
- opened
在首页中介绍使用该模型 不同的batch 会占用不同大小的memory, 请问这个batch 是在哪儿设置的? 以及batch是指一次处理prompt的数量吗?希望能给予指导,万份感谢
batch 是在哪儿设置的?
这个就是一次推理时候的样本数，具体设置得看你用的是什么框架。
以及batch是指一次处理prompt的数量吗?
是的
tianjun
changed discussion status to
closed