File size: 257 Bytes
78705ad
 
8e03790
 
b89041d
78705ad
8e03790
78705ad
9750337
1
2
3
4
5
6
7
8
9
FROM ./phi-3-medium-4k-instruct-q4_k_m.gguf
TEMPLATE """<s>{{ if .Prompt }}<|user|>
{{ .Prompt }}<|end|>
{{ end }}<|assistant|>
{{ .Response }}<|end|>"""
PARAMETER stop <|endoftext|>
PARAMETER stop <|assistant|>
PARAMETER stop <|end|>
PARAMETER num_ctx 4096