Edit model card
YAML Metadata Warning: empty or missing yaml metadata in repo card (https://huggingface.co/docs/hub/model-cards#model-card-metadata)

经过本人合成及量化的 13B plus 模型


开这个仓,主要是为了给大家讲述使用方法,这玩意儿真得自己摸索啊。

更新

  1. 2023年06月10日 把 ggml 文件的版本从ggjt v1 (pre #1405)升级到ggjt v3 (latest)

使用方法

移动本仓库中的 alpaca-13b-plus 文件夹到你项目的./models文件下即可。该文件夹同时适用于llama.cpptext-generation-webui

使用体验

效果确实比 13b 好了不少,能写出比较长的文字了,速度没有明显变化,本模型运行时需要 9.2GB 内存,未进行格式转换和量化时需要 50GB 内存,太吓人了,速度还只有十分之一。

资料来源

13b 已合并文件是从 https://huggingface.co/shibing624/chinese-alpaca-plus-13b-hf 仓库中下载的,我对其进行了格式转换与 4bit 量化。

Downloads last month

-

Downloads are not tracked for this model. How to track
Inference API
Unable to determine this model's library. Check the docs .