StevenChen16 commited on
Commit
419efcb
1 Parent(s): 673d64c

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +1 -1
app.py CHANGED
@@ -34,7 +34,7 @@ args = dict(
34
  template="llama3", # 与训练时使用的模板相同
35
  finetuning_type="lora", # 与训练时使用的微调类型相同
36
  quantization_bit=8, # 加载 4-bit 量化模型
37
- use_unsloth=True, # 使用 UnslothAI 的 LoRA 优化以加速生成
38
  )
39
  chat_model = ChatModel(args)
40
  messages = []
 
34
  template="llama3", # 与训练时使用的模板相同
35
  finetuning_type="lora", # 与训练时使用的微调类型相同
36
  quantization_bit=8, # 加载 4-bit 量化模型
37
+ use_unsloth=False, # 使用 UnslothAI 的 LoRA 优化以加速生成
38
  )
39
  chat_model = ChatModel(args)
40
  messages = []