πββ¬ Mistral-7B-v0.1-flashback-v2
Mistral-7B-v0.1-flashback-v2 is a continuation of the pretraining process for the base Mistral-7B-v0.1 model, utilizing 2 251 233 forum threads from the Swedish website https://www.flashback.org/. Which is rougly 40GB of text. It is a full finetune for one epoch.
How to use:
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_name = "timpal0l/Mistral-7B-v0.1-flashback-v2"
device = "cuda:0" if torch.cuda.is_available() else "cpu"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)
model.eval()
model.to(device)
prompt = "Idag Γ€r det den bΓ€sta"
input_ids = tokenizer(prompt, return_tensors="pt")["input_ids"].to(device)
generated_token_ids = model.generate(
inputs=input_ids,
max_new_tokens=256,
do_sample=True,
temperature=0.8,
top_p=1,
)[0]
generated_text = tokenizer.decode(generated_token_ids)
generated_text
<s> Idag Γ€r det den bΓ€sta dagen i hela veckan, fΓΆr nu tar det slut!\n\n>! GnΓ€llfesten!\n\nJag sitter hΓ€r, oerhΓΆrt fΓΆrvirrad, och fΓΆrsΓΆker fΓΆrstΓ₯ varfΓΆr vi ens mΓ₯ste fortsΓ€tta att existera efter dΓΆden. Jag menar, jag fΓΆrstΓ₯r ju egentligen att det aldrig kan ta slut, eller inte "ta slut" i den bemΓ€rkelsen att materian fΓΆrsvinner, men det Γ€r inte det jag pratar om.\n\nDΓΆden, det faktum att man dΓΆr och aldrig kan uppleva livet igen. Det som Γ€r liv och ger livet en mening, det fΓΆrsvinner i dΓΆden. Och sen bΓΆrjas det om, om och om igen. VarfΓΆr behΓΆver vi sΓ₯ mΓ₯nga liv? Vi Γ€r ju inte ens medvetna av att vi nΓ₯gonsin har levt, sΓ₯ varfΓΆr ska vi komma hit och bli medvetna hela tiden?\n\nDet hΓ€r Γ€r en sΓ₯dan frΓ₯ga som jag aldrig kan fΓ₯
Data Format:
To mimic the data format used in pre-training it has the following structure:
# Thread_Title
username_thread_creator:
Hello, this is my thread...
username_user_1:
This is a response to the thread, without qouting anything.
username_user_2:
> username_user_1: This is a response to the thread, without qouting anything.
I am now quoting username_user_1...
Random training sample:
# Tips om aktiviter och sevΓ€rdheter i Stockholm fΓΆr nΓ₯gon med funktionsnedsΓ€ttning
Roozbeh:
Hej!
Jag jobbar som assistent Γ₯t en kille pΓ₯ ett stΓΆdboende.
NΓ€sta vecka Γ₯ker han, jag och en kollega till Stockholm och han Γ€r superpeppad pΓ₯ att se sig omkring.
Har ni nΓ₯gra guld tips?
FΓ₯r gΓ€rna ge fΓΆrslag bΓ₯de dag och kvΓ€llstid om ni kommer pΓ₯ nΓ₯got.
Vi har redan tΓ€nkt pΓ₯ att se slottet.
Och gamla staden, finns dΓ€r nΓ₯got kanske?
Bra cafen/restauranger som inte Γ€r allt fΓΆr dyra.
NΓ₯gra stΓ€llen som man bara mΓ₯ste se eller gΓΆra i Stockholm?
Han Γ€r inte rullstolsbunden ska nΓ€mnas, Γ€r ung och i ganska bra kondition fysiskt.
Alla tips Γ€r vΓ€lkomna tack!
AnnΓ©a:
Beror lite pΓ₯ vad man gillar. Om ni Γ€ndΓ₯ Γ€r vi Slottet sΓ₯ har ni ju dom stora turistgatorna i Gamla Stan runt hΓΆrnet precis, dock inget stΓ€lle man vill gΓ₯ pΓ₯ om man tycker det Γ€r jobbigt med folk och att trΓ€ngas och ingenstans dΓ€r man Γ€ter sΓ€rskilt bra eller billigt.
Laust:
Γ
ka upp pΓ₯ globen funkar med rullstol
Thomaz:
VΓ€lkomna! π
Vad har han fΓΆr intressen?
Γr ni Γ€ndΓ₯ pΓ₯ slottet kan jag rekommendera livrustkammaren, dΓ€r klΓ€der och attiraljer sΓ₯som vagnar (och Γ€ven uppstoppade hΓ€star) frΓ₯n svenska kungligheter Γ€r utstΓ€llda.
Anne-Jorunn:
GrΓΆna Lund och skansen Γ€r guld, om hen klarar av att Γ₯ka karusell sΓ₯ gΓ₯r ni ocksΓ₯ fΓΆrbi alla kΓΆer om du Γ€r stΓΆdperson.
Abba museumet, Vasamuseumet, militΓ€rhistoriska museet, tekniska museet, Junibacken. Finns mycket bra.
Annars kan det vara skoj att gΓ₯ runt pΓ₯ Mall of Scandinavia, skΓΆnt att vara inne med toaletter inom rΓ€ckhΓ₯ll.
Muscab:
> Roozbeh: Hej!
>
> Jag jobbar som assistent Γ₯t en kille pΓ₯ ett stΓΆdboende.
> NΓ€sta vecka Γ₯ker han, jag och en kollega till Stockholm och han Γ€r superpeppad pΓ₯ att se sig omkring.
> Har ni nΓ₯gra guld tips?
> FΓ₯r gΓ€rna ge fΓΆrslag bΓ₯de dag och kvΓ€llstid om ni kommer pΓ₯ nΓ₯got.
> Vi har redan tΓ€nkt pΓ₯ att se slottet.
> Och gamla staden, finns dΓ€r nΓ₯got kanske?
> Bra cafen/restauranger som inte Γ€r allt fΓΆr dyra.
> NΓ₯gra stΓ€llen som man bara mΓ₯ste se eller gΓΆra i Stockholm?
> Han Γ€r inte rullstolsbunden ska nΓ€mnas, Γ€r ung och i ganska bra kondition fysiskt.
> Alla tips Γ€r vΓ€lkomna tack!
Jag tror de mesta platser Γ€r ganska ovΓ€nliga fΓΆr rullstol. Backar, grusvΓ€gar, kullersten, trΓ₯nga dΓΆrrar, trappor. Finns det nΓ₯gon restaurang/cafΓ© som Γ€r billig och rullstolsvΓ€nlig? Vet inte. KΓΆp ett paket glassar pΓ₯ ica istΓ€llet.
NΓ₯got man mΓ₯ste gΓΆra i Stockholm? Det finns inte mycket att se. Turister brukade gΓ₯ runt i gamla stan och titta pΓ₯ tunnelbanestationer.
AnnΓ©a:
> Muscab: Jag tror de mesta platser Γ€r ganska ovΓ€nliga fΓΆr rullstol. Backar, grusvΓ€gar, kullersten, trΓ₯nga dΓΆrrar, trappor. Finns det nΓ₯gon restaurang/cafΓ© som Γ€r billig och rullstolsvΓ€nlig? Vet inte. KΓΆp ett paket glassar pΓ₯ ica istΓ€llet.
>
> NΓ₯got man mΓ₯ste gΓΆra i Stockholm? Det finns inte mycket att se. Turister brukade gΓ₯ runt i gamla stan och titta pΓ₯ tunnelbanestationer.
Han sitter ju INTE i rullstol...
Tharsika:
Vad har han fΓΆr problematik? Vad kan stΓΆra/vara svΓ₯rt fΓΆr honom ? Rullstol ? Kramp? UtΓ₯tagerande ?
Muscab:
> AnnΓ©a: Han sitter ju INTE i rullstol...
LΓ€ste fel. π€¦
Boine:
ArmΓ©museum
Historiska museet
Γ
ka djurgΓ₯rdsfΓ€rjan alt. βSkΓ€rgΓ₯rdsturβ med SL
Utsikt pΓ₯ SΓΆdermalm + promenaden dit. Mariaberget & MonteliusvΓ€gen
Gamla stan - MΓ₯rten Trotzig grΓ€nd samt kanonkulorna i husvΓ€ggen nΓ₯gra meter frΓ₯n Stortorget
MΓ₯lningar i tunnelbanan
Spela Γ€ventyrsgolf inomhus
Se guldbron - Slussen
Utsikt Katarinahissen - Slussen, man gΓ₯r in i porten till Gondolen (nog nerlagd) tar hissen lΓ€ngst upp och gΓ₯r en vΓ₯ning upp annars fΓ₯r man gΓ₯ dit bakvΓ€gen onΓΆdigt lΓ₯ngt.
GΓ₯ hela Drottninggatan
Slottet ev tajma in vaktavlΓΆsning
Kolla om det finns nΓ₯got personen har intresse av/om, finns en hel gratis museum
Roozbeh:
Vilka bra tips! Tack allihopa vad fint av er att bidra! SΓ₯ uppskattat verkligen π
Nu Γ€r vi Γ₯ter hemma igen efter resan till Stockholm.
Resan gick jΓ€ttebra, vi planerade noga och gjorde det mesta av tid med hΓ€nsyn till funktionsnedsΓ€ttningen. Vi gick sΓ₯klart efter vad han sjΓ€lv ΓΆnskade gΓΆra och gav fΓΆrslag pΓ₯ vad Stockholm erbjuder. DΓ₯ vi bara var i Stockholm under ca 24 timmar mΓ₯ste jag sΓ€ga att vi fick gjort mycket mer Γ€n vi vΓ€ntade oss. Vi hade ingen bil. IstΓ€llet kΓΆpte vi ett 24 tim kort fΓΆr kollektivtrafiken och med hjΓ€lp av SL appen och google maps navigerade jag runt oss i staden.
Hotellet vi bodde pΓ₯ lΓ₯g nΓ€ra Centralstationen.
Detta gjorde vi:
Gick runt hela Gamla Stan. Γ
t pΓ₯ restaurang dΓ€r samt i Vasaplan och Γ€ven fikade pΓ₯ diverse cafΓ©er i Gamla Stan. Vi sΓ₯g det Kungliga slottet bΓ₯de inuti och utanpΓ₯, var uppskattat! Han tyckte det var sΓ₯ hΓ€ftigt. Strosade runt i alla grΓ€nder, torg och gator i Gamla Stan, gick in i trevliga smΓ₯ butiker och tog fina foton! Vi tittade pΓ₯ alla bΓ₯tar i hamnen. Parlamentet. Stadshuset. Vi gick in pΓ₯ diverse olika stΓ€llen vi gick fΓΆrbi som han impulsivt kΓ€nde dragning till. Typ karaokebar, kulturhuset, pubbar etc. Allt han kΓ€nde fΓΆr gjorde vi. Det var hans resa 100 %.
Γ
kte med fΓ€rja till DjurgΓ₯rden och besΓΆkte ABBA museet dΓ€r han fick lyssna pΓ₯ sΓ₯nger, se rekvisita, sjunga och t.om Γ₯ka helikopter i VR.
Vi shoppade ocksΓ₯ sΓ₯klart dΓ₯ Stockholm har sΓ₯ mΓ₯nga butiker!(Hela Drottninggatan och stΓ€llen pΓ₯/nΓ€ra Vasaplan)
Under resan interagerade han med en massa Stockholmare. Sade till flertalet tjejer att han Γ€lskade dom haha vilket charmΓΆr! Vi gick fΓΆrbi en hΓΆgvakt vid slottet som han hΓ€lsade pΓ₯. Det var en hon, och vakten rΓΆrde inte en min men fΓΆljde honom med blicken. Givetvis fick vi sΓ€ga det att dom inte pratar med nΓ₯gon dΓ₯ det ingΓ₯r i jobbet etc.
Han blev bemΓΆtt med respekt och ΓΆmhet av de flesta ska sΓ€gas. Han var glad ΓΆver att ha fΓ₯tt prata med sΓ₯ mΓ₯nga mΓ€nniskor. Vi stannade ofta dΓ₯ han ville frΓ₯ga t.ex poliser eller andra arbetare om saker, alla var gulliga och vΓ€nliga mot honom.
Vi Γ₯kte under resan buss, tunnelbana(ocksΓ₯ en ΓΆnskan att fΓ₯ gΓΆra) och fΓ€rjor till olika fΓ€rjterminaler fΓΆr att fΓ₯ se Stockholm frΓ₯n vattnet.
SΓ₯g ocksΓ₯ Sergels Torg pΓ₯ kvΓ€llen eller "Plattan" som jag tror den ocksΓ₯ kallas. En pelare var vackert upplyst i blΓ₯tt ljus dΓ€r och han berΓ€ttade exalterat om hur mΓ₯nga filmer han sett som har plattan som scenplats etc. KvΓ€llen bjΓΆd pΓ₯ solnedgΓ₯ngen frΓ₯n hotellets tak. Γ
t en fantastisk frukostbuffΓ© pΓ₯ morgonen med flera omgΓ₯ngar god mat! HΓ€rligt att han njΓΆt.
DΓ₯ han faktiskt har en fysisk och kognitiv nedsΓ€ttning Γ€r vi sΓ₯ glada att han orkade sΓ₯ mycket! BΓ€st av allt sa han sig vara vΓ€ldigt nΓΆjd med resan. Vi ska nu planera fler resor till Stockholm i framtiden. DΓ₯ gΓΆr vi fler saker, sΓ₯nt vi inte hann med den hΓ€r gΓ₯ngen. Var lite begrΓ€nsat med tid(24 timmar) samt behΓΆvde vi tΓ€nka pΓ₯ att energi skulle rΓ€cka till utan att kroppen skulle triggas till att hans nedsΓ€ttnings symptom blossade upp. BehΓΆvs ju givetvis pauser med jΓ€mna mellanrum dΓ₯.
Tack och lov fΓΆr apparna som jag kunde leda oss efter. Att Γ₯ka kollektivt hade varit svΓ₯rt annars och jag kunde se efter kartan var vΓ₯ra besΓΆksmΓ₯l lΓ₯g samt vilka vΓ€gar som kunde spara oss onΓΆdig tid.
Tack ska ni ha fΓΆr tipsen, igen. Tack till Stockholm fΓΆr att ni tog emot oss med respekt han var sΓ₯ nΓΆjd med resan.
Hej sΓ₯ lΓ€nge, vi kommer Γ₯ter i framtiden! π
Open LLM Leaderboard Evaluation Results
Detailed results can be found here
Metric | Value |
---|---|
Avg. | 57.53 |
AI2 Reasoning Challenge (25-Shot) | 57.17 |
HellaSwag (10-Shot) | 80.74 |
MMLU (5-Shot) | 59.98 |
TruthfulQA (0-shot) | 40.66 |
Winogrande (5-shot) | 77.19 |
GSM8k (5-shot) | 29.42 |
- Downloads last month
- 724
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.
Model tree for timpal0l/Mistral-7B-v0.1-flashback-v2
Spaces using timpal0l/Mistral-7B-v0.1-flashback-v2 4
Evaluation results
- normalized accuracy on AI2 Reasoning Challenge (25-Shot)test set Open LLM Leaderboard57.170
- normalized accuracy on HellaSwag (10-Shot)validation set Open LLM Leaderboard80.740
- accuracy on MMLU (5-Shot)test set Open LLM Leaderboard59.980
- mc2 on TruthfulQA (0-shot)validation set Open LLM Leaderboard40.660
- accuracy on Winogrande (5-shot)validation set Open LLM Leaderboard77.190
- accuracy on GSM8k (5-shot)test set Open LLM Leaderboard29.420