StevenChen16
commited on
Commit
•
419efcb
1
Parent(s):
673d64c
Update app.py
Browse files
app.py
CHANGED
@@ -34,7 +34,7 @@ args = dict(
|
|
34 |
template="llama3", # 与训练时使用的模板相同
|
35 |
finetuning_type="lora", # 与训练时使用的微调类型相同
|
36 |
quantization_bit=8, # 加载 4-bit 量化模型
|
37 |
-
use_unsloth=
|
38 |
)
|
39 |
chat_model = ChatModel(args)
|
40 |
messages = []
|
|
|
34 |
template="llama3", # 与训练时使用的模板相同
|
35 |
finetuning_type="lora", # 与训练时使用的微调类型相同
|
36 |
quantization_bit=8, # 加载 4-bit 量化模型
|
37 |
+
use_unsloth=False, # 使用 UnslothAI 的 LoRA 优化以加速生成
|
38 |
)
|
39 |
chat_model = ChatModel(args)
|
40 |
messages = []
|