vcadillo

/

glm-4v-9b-4-bits

like 4

我想知道为什么我使用cuda 的cudnn进行加速和实际的输出效果跟没用加速推理的时间是一样的，而且也没有合理运用到我的cuda和cudnn，我的cuda 版本是12.1 cudnn版本是8902，这是否于版本有关呢？