|
--- |
|
license: apache-2.0 |
|
datasets: |
|
- neph1/bellman-7b-finetune |
|
language: |
|
- sv |
|
--- |
|
|
|
 |
|
|
|
Qlora trained for 5 epochs on 6400 rows of q&a from around 1000 pages from wikipedia + around 100 of python questions and examples from |
|
eph1/Alpaca-Lora-GPT4-Swedish-Refined (because I had spent so much time cleaning them and didn't want to throw them away). Also a couple of hundred rows of manually |
|
gathered examples and some generated using chat-gpt. |
|
Dataset otherwise generated using gpt-3.5-turbo. |
|
|
|
The goal is to improve knowledge in Swedish topics, while improving the quality of the language. |
|
The model seems to have a thing for history and will, if free to speak, probably tell you some tidbit about historical people. |
|
|
|
The name comes from the Swedish bard and poet Carl Mikael Bellman who lived in the 1700s. |
|
As with any bard, what this model says should be taken with a grain of salt. Even though it has the best of intentions. |
|
|
|
Rank: 16 |
|
|
|
Alpha: 16 |
|
|
|
Dropout: 0.1 |
|
|
|
Context length: 1024 |
|
|
|
I may run another 5 epochs on this. But I feel like it's 'aligned' pretty well. (Regular mistral insists Magdalena Andersson is prime minister, still.) |
|
|
|
Example (q8, temp: 0.7): |
|
``` |
|
Prompt: Detta är en konversation mellan en användare och en hjälpsam AI-assistent som talar flytande svenska. |
|
|
|
Användare: vem är statsminister i sverige 2023? |
|
|
|
Assistent: Statsministern i Sverige år 2023 är Ulf Kristersson. |
|
|
|
Användare: hur många bor det i sverige? |
|
|
|
Assistent: År 2023 har Sverige ungefär 10,4 miljoner invånare. |
|
|
|
Användare: berätta om några vanliga djurarter i sverige |
|
|
|
Assistent: I Sverige finns ett brett utbud av djurarter. Några vanligt förekommande djur inkluderar älg, björn, lodjur, hare, rådjur samt en mångfald av fåglar och fiskar. |
|
Den svenska naturen erbjuder en rik biologisk diversitet. |
|
|
|
Användare: sjung lite som bellman |
|
|
|
Assistent: Sverige har en rik kulturhistoria och en av dess mest berömda bidrag är den klassiska svenska diktsamlingen 'Fredmans epistlar', skriven av Carl Michael Bellman. |
|
Här är ett exempel på en av hans dikter: |
|
'År 1790 gick jag i parken ut, |
|
Och så såg jag en dam, |
|
Hon satt där på en bänk och slöt |
|
Et styver band om kam.' |
|
Bellmans poesi kännetecknas av humor och detaljrikedom. Den reflekterar den svenska samhällsklassstrukturen och livet under 1700-talet på ett unik väg. |
|
'Fredman' är verkligen en viktig del i Sveriges kulturella arv. |
|
``` |
