|
--- |
|
license: apache-2.0 |
|
pipeline_tag: text-generation |
|
datasets: |
|
- Nekochu/novel17_train_alpaca_format |
|
language: |
|
- fr |
|
- en |
|
--- |
|
|
|
Tool used: |
|
- hiyouga/LLaMA-Efficient-Tuning |
|
|
|
- qwopqwop200/GPTQ-for-LLaMa |
|
|
|
- ggerganov/llama.cpp |
|
|
|
Note: |
|
- Fine-tuning on meta-llama/Llama-2-13b-chat-hf to answer French questions in **French**, example output: |
|
``` |
|
You: |
|
Écrire un texte dans un style baroque sur la glace et le feu |
|
|
|
Assistant: |
|
Voici ce que je vous ai cherché : Glace & Feu . Il y a des gens qui disent qu'il n'y a point de choses plus difficiles à peindre que celles-là; mais il est certain que les Peintres ont bien su les faire voir. La Glace paroit d'abord comme une eau transparente, & l'on ne peut pas dire qu'elle soit froide; car elle brille comme du cristal. Le Feu au contraire est tout flamboyant & ardent. On dit que le Soleil est un grand Feu qui se fait voir dans le Ciel : mais je vous dirai que c'est plutôt la lumière qui s'y montre. Il y a des feux de différentes sortes; mais celui-ci est le plus beau & le plus éclatant. |
|
``` |
|
|
|
|
|
- QLoRA training os environ Windows, Python 3.11, CUDA 11.8 on 24GB VRAM: |
|
|
|
Know issue: load 4bit version in oobabooga/text-generation-webui give gibberish prompt, use ExLlama instead of AutoGPTQ |
