请问加载完模型之后，具体怎么传入数据进行推理？
TypeError: The current model class (BloomModel) is not compatible with .generate(), as it doesn't have a language model head. Please use one of the following classes instead: {'BloomForCausalLM'}
使用方式请参见Model card的说明，不是使用BloomModel加载
就是使用 transformers库的AutoTokenizer和AutoModel进行加载的，print("开始加载模型")
tokenizer = AutoTokenizer.from_pretrained("/pfs/base_models/XuanYuan2.0", trust_remote_code=True)
model = AutoModel.from_pretrained("/pfs/base_models/XuanYuan2.0",trust_remote_code=True,device_map="auto")
model = model.eval()
请按照Model card的说明来写 input= '<s>Human: ' + query + '\n\nAssistant: ' 不要在前面添加额外的内容
您好，还是不行继续报这个错误The current model class (BloomModel) is not compatible with .generate(), as it doesn't have a language model head. Please use one of the following classes instead: {'BloomForCausalLM'}， 我是采用的8xA100 40G的显卡加载的模型，一部分加载到显存中一部分加载到内存中了
使用方式请参见Model card的说明，不是使用BloomModel加载
BloomModel是没有generate方法的 且40G显卡没有经过测试
已经解决了，之前采用的transformers 版本为 4.28.1最后通过安装transformers ==4.30.0.dev0 成功加载模型 ；采用的AutoModelForCausalLM