请教下 你如何量化保存的模型?
#1
by
agoto
- opened
model = AutoModelForCausalLM.from_pretrained(raw_model_dir, torch_dtype=torch.float16, trust_remote_code=True)
model = model.quantize(8).cuda()
model.save_pretrained(quantize_model_dir)
model.save_pretrained(quantize_model_dir, state_dict=model.state_dict())
都保存了 只有1.3G的一个文件 请问是哪里用的不对么?
可以了解一下 state_dict=model.state_dict() 的含义，可能是不必要的。
谢谢回复,
model.save_pretrained(quantize_model_dir)
这个方式 我也尝试了, 也没有效果
是否还需要其他操作呢
model = AutoModelForCausalLM.from_pretrained(raw_model_dir, torch_dtype=torch.float16, trust_remote_code=True)
model = model.quantize(8).cuda()
model.save_pretrained(quantize_model_dir)
我使用这种方式对量化后的模型保存怎么只生成一个1.3G的文件，求解？