nb-bert-base-matryoshka
This is a sentence-transformers model finetuned from NbAiLab/nb-bert-base on the utdanning_pair, ltg/norquad and NbAiLab/mnli-norwegian datasets. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
As with the BGE architecture and Artic-embed I use the final hidden state of the [CLS] token as the embedding vector, instead of a mean pooling strategy.
Model Details
Model Description
- Model Type: Sentence Transformer
- Base model: NbAiLab/nb-bert-base
- Maximum Sequence Length: 512 tokens
- Output Dimensionality: 768 tokens
- Similarity Function: Cosine Similarity
- Training Datasets:
- Language: no
- License: Apache 2.0 License
Model Sources
Full Model Architecture
SentenceTransformer(
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
Usage
Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("MagnusSa/nb-bert-base-matryoshka")
sentences = [
'Hvilket språk brukes i Kellsboken?',
'Kellsboken\nKellsboken (irsk: Leabhar Cheanannais) er en evangeliebok i form av en kodeks av illuminerte manuskript fra 700- eller 800-tallet. Den er kjent for sine mange og vakre illustrasjoner. Boken ble tidligere også kalt «Sankt Columbas bok», etter den hellige Columba av Iona. Den inneholder de fire evangeliene fra Det nye testamente skrevet på latin. Evangelieteksten er hovedsakelig fra Vulgata, skjønt også en del tekst fra tidligere versjoner av Bibelen som Vetus Latina, den gammellatinske oversettelsen som Vulgata erstattet. I motsetning til mange evangeliebøker som var beregnet for reiser, misjon eller for egen oppbyggelse, var denne og andre store bind ment for alteret og til pryd for kirken.\nKellsboken er et mesterverk av irsk kunsthåndverk og kalligrafi, og representerer høydepunktet innenfor insulære illuminerte manuskript i tidlig middelalder. Gerald av Wales mente den var et verk, «ikke av mennesker, men av engler», og Umberto Eco kalte den for «produktet til en kaldblodig hallusinasjonist.» Den blir også regnet som en irsk nasjonalskatt. Illustrasjonene og ornamentene i boken overgår tidligere irske evangeliebøker i prakt og kompleksitet. Dekorasjonene kombinerer tradisjonell kristen ikonografi med de snirklete, komplekse motivene som er typisk for insulær kunst. Manuskriptsidene er rikt dekorert med figurer av mennesker, dyr og mytologiske uhyrer, sammen med keltiske knuter og flettverkmønstre i stimulerende farger. Mange av de små dekorative elementene er gjennomsyret av kristen symbolisme, og bidrar til å ytterligere framheve temaene i de større illustrasjonene.\nBoken er skrevet på pergament av kalveskinn (vellum) og har 340 folioblader, siden 1953 har manuskriptet vært innbundet i fire bind. Det er ti fullsideillustrasjoner, men også tekstsidene er vakkert dekorert. Tekstsidene er smykket med forseggjorte forstørrede initialer og miniatyrer mellom tekstlinjene. Teksten er skrevet med insulær majuskelskrift, og synes å være utført av tre, kanskje fire, forskjellige skrivere. Det er i hovedsak brukt et brunaktig jerngallusblekk, laget av knuste eikenøtter og jernsulfat i en blanding med harpiks og vann, men også karbonblekk er benyttet. Fargene er framstilt fra en lang rekke substanser, mange av dem importert fra fjerne land.\n\n\n',
"Trump buet ut på hjemmebane\nPresident Donald Trump ble buet ut under en baseballkamp i Washington. På bildet forlater han kampen før den er ferdigspilt. (Foto: Pablo Martinez Monsivais/AP/NTB Scanpix)\nDette var første gang Trump-ekteparet har dristet seg til å gå på en baseballkamp på hjemmebane i svært så demokratiske Washington, til tross for at Nationals' hjemmebane ligger veldig nærme Det hvite hus.\nDet ble ikke gjort noe stort nummer ut av at presidentparet skulle på kampen mellom Washington Nationals og Houston Astros på Nationals Park. Det kunne Det hvite hus godt ha gjort, sett i lys av at Donald Trump hadde gjort seg populær i USA da han bare timer i forveien hadde kunngjort at amerikanske styrker hadde angrepet skjulestedet til en av USA mest forhatte fiender.\nDet USA-ledede angrepet medførte at IS-lederen Abu Bakr al-Baghdadi tok sitt eget liv ved å utløse en bombevest da spesialstyrkene rykket inn i Idlib nordvest i Syria.\n«Lås ham inne!»\nTrump-ekteparet vinket litt og smilte da de ankom kampen søndag, men det var først i en av pausene den store reaksjonen kom.\nDa skulle amerikanske krigshelter hylles på arenaen, men da videoen på storskjermen sveipet over til Trump og følget hans, og det ble kunngjort hvem som var på besøk, besvarte folkemengden det med unison buing og hyllesten til heltene ble på seksjoner av tribunen plutselig til taktfaste rop av typen «Lås ham inne!», mens plakater med «Veteraner støtter riksrett» og «Still Trump for riksrett» dukket opp.\nSkjermer Trump\nPresidentparet lot seg ikke affisere. Det forlot for øvrig kampen før den var ferdigspilt.\nTrumps stab har forsøkt å skjerme ham for situasjoner der han kan bli utsatt for massiv buing og hetsing fra store menneskemengder, og han unngår spesielt slike situasjoner i tettsteder og byer der flertallet av velgerne er demokrater, som i Washington.\nI District of Columbia, der Washington ligger, fikk han bare fire prosents oppslutning under valget i 2016.",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
Evaluation
Metrics
Information Retrieval
Metric |
Value |
cosine_accuracy@1 |
0.6156 |
cosine_accuracy@3 |
0.7198 |
cosine_accuracy@5 |
0.7557 |
cosine_accuracy@10 |
0.8036 |
cosine_precision@1 |
0.6156 |
cosine_precision@3 |
0.2399 |
cosine_precision@5 |
0.1511 |
cosine_precision@10 |
0.0804 |
cosine_recall@1 |
0.6156 |
cosine_recall@3 |
0.7198 |
cosine_recall@5 |
0.7557 |
cosine_recall@10 |
0.8036 |
cosine_ndcg@10 |
0.7081 |
cosine_mrr@10 |
0.6777 |
cosine_map@100 |
0.6826 |
Information Retrieval
Metric |
Value |
cosine_accuracy@1 |
0.6096 |
cosine_accuracy@3 |
0.7144 |
cosine_accuracy@5 |
0.7527 |
cosine_accuracy@10 |
0.7976 |
cosine_precision@1 |
0.6096 |
cosine_precision@3 |
0.2381 |
cosine_precision@5 |
0.1505 |
cosine_precision@10 |
0.0798 |
cosine_recall@1 |
0.6096 |
cosine_recall@3 |
0.7144 |
cosine_recall@5 |
0.7527 |
cosine_recall@10 |
0.7976 |
cosine_ndcg@10 |
0.7022 |
cosine_mrr@10 |
0.6718 |
cosine_map@100 |
0.6768 |
Information Retrieval
Metric |
Value |
cosine_accuracy@1 |
0.5838 |
cosine_accuracy@3 |
0.6838 |
cosine_accuracy@5 |
0.7257 |
cosine_accuracy@10 |
0.7808 |
cosine_precision@1 |
0.5838 |
cosine_precision@3 |
0.2279 |
cosine_precision@5 |
0.1451 |
cosine_precision@10 |
0.0781 |
cosine_recall@1 |
0.5838 |
cosine_recall@3 |
0.6838 |
cosine_recall@5 |
0.7257 |
cosine_recall@10 |
0.7808 |
cosine_ndcg@10 |
0.6786 |
cosine_mrr@10 |
0.6463 |
cosine_map@100 |
0.6515 |
Information Retrieval
Metric |
Value |
cosine_accuracy@1 |
0.5497 |
cosine_accuracy@3 |
0.6575 |
cosine_accuracy@5 |
0.6922 |
cosine_accuracy@10 |
0.7467 |
cosine_precision@1 |
0.5497 |
cosine_precision@3 |
0.2192 |
cosine_precision@5 |
0.1384 |
cosine_precision@10 |
0.0747 |
cosine_recall@1 |
0.5497 |
cosine_recall@3 |
0.6575 |
cosine_recall@5 |
0.6922 |
cosine_recall@10 |
0.7467 |
cosine_ndcg@10 |
0.6457 |
cosine_mrr@10 |
0.6138 |
cosine_map@100 |
0.6196 |
Information Retrieval
Metric |
Value |
cosine_accuracy@1 |
0.4737 |
cosine_accuracy@3 |
0.5856 |
cosine_accuracy@5 |
0.6293 |
cosine_accuracy@10 |
0.6844 |
cosine_precision@1 |
0.4737 |
cosine_precision@3 |
0.1952 |
cosine_precision@5 |
0.1259 |
cosine_precision@10 |
0.0684 |
cosine_recall@1 |
0.4737 |
cosine_recall@3 |
0.5856 |
cosine_recall@5 |
0.6293 |
cosine_recall@10 |
0.6844 |
cosine_ndcg@10 |
0.575 |
cosine_mrr@10 |
0.5404 |
cosine_map@100 |
0.5463 |
Training Details
Training Datasets
utdanning_pair
- Dataset: utdanning_pair
- Size: 1,015 training samples
- Columns:
anchor
and positive
- Approximate statistics based on the first 1000 samples:
|
anchor |
positive |
type |
string |
string |
details |
- min: 3 tokens
- mean: 7.32 tokens
- max: 23 tokens
|
- min: 2 tokens
- mean: 184.2 tokens
- max: 512 tokens
|
- Samples:
anchor |
positive |
Pølsemakerfag |
Fullført og bestått opplæring fører fram til svennebrev. Yrkestittel er pølsemaker. |
Områdestudier |
Områdestudier er et samlebegrep på tverrfaglige utdanninger av et utvalgt geografisk område eller en nasjonal eller kulturell gruppe. |
Prosessteknikk |
En fagtekniker i prosessteknikk kan finne sin arbeidsplass i mange ulike bedrifter fra smelteverk papirfabrikker olje- og gassproduksjon og kjemiske bedrifter til forskningsinstitutter og kommunal vann- og avløpsrensing. |
- Loss:
MatryoshkaLoss
with these parameters:{
"loss": "MultipleNegativesRankingLoss",
"matryoshka_dims": [
768,
512,
256,
128,
64
],
"matryoshka_weights": [
1,
1,
1,
1,
1
],
"n_dims_per_step": -1
}
NorQuAD
- Dataset: ltg/norquad
- Size: 3,808 training samples
- Columns:
anchor
and positive
- Approximate statistics based on the first 1000 samples:
|
anchor |
positive |
type |
string |
string |
details |
- min: 6 tokens
- mean: 15.88 tokens
- max: 58 tokens
|
- min: 441 tokens
- mean: 509.42 tokens
- max: 512 tokens
|
- Samples:
anchor |
positive |
Når døde Shackleton? |
Shackleton–Rowett-ekspedisjonen Shackleton–Rowett-ekspedisjonen (1921–22) var den siste antarktisekspedisjonen til den britiske polarforskeren Ernest Shackleton og markerte slutten på den heroiske tidsalder for antarktisutforskning. Ekspedisjonen ble finansiert av forretningsmannen John Quiller Rowett, og benevnes tidvis som Quest-ekspedisjonen etter ekspedisjonsskipet «Quest», ei ombygd norsk selfangstskute. Shackletons opprinnelige plan var å utforske Beauforthavet i Arktis, men denne planen ble forkastet etter at kanadiske myndigheter holdt tilbake økonomisk støtte. «Quest» var mindre enn fartøyene som hadde blitt benyttet på de foregående ekspedisjonene, og hun viste seg raskt lite egnet for oppgaven. Framdriften sørover ble forsinket av skipets dårlige sjøegenskaper og hyppige motorproblemer. Før ekspedisjonen hadde kommet skikkelig i gang, døde Shackleton om bord i skipet rett etter ankomsten til Sør-Georgia. Hovedaktiviteten i den påfølgende svekkede ekspedisjonen var en tremåneders seilas til Øst-Antarktis under ledelse av nestkommanderende, Frank Wild. I dette farvannet kom «Quest»s svakheter raskt til syne: lav fart, høyt drivstofforbruk, tung rulling i høy sjø og stadig lekk. Skipet var ikke i stand til å fortsette lenger enn 20° øst, vesentlig kortere enn målsetningen, og den lave motoreffekten var ikke tilstrekkelig til å forsere den antarktiske sjøisen. Etter flere mislykkede forsøk på å bryte seg gjennom pakkisen valgte Wild å returnere til Sør-Georgia. På veien ble turen lagt innom Elefantøya, der Wild sammen med 21 andre hadde vært skipbrudden etter tapet av «Endurance» seks år tidligere. Wild hadde tanker om en andre, mer produktiv sesong i isen, og tok skipet til Cape Town for overhaling. Her mottok han en melding fra Rowett som beordret skipet hjem til England, slik at ekspedisjonen endte i stillhet. Selv om den ikke har fått stor oppmerksomhet i polarhistorien, markerte Quest-ekspedisjonen avslutningen på den heroiske tidsalder for antarktisutforskning og begynnelsen på den «mekaniske tidsalder» som fulgte. Til sjuende og sist er det imidlertid Shackletons død som har blitt stående igjen som minnet fra ekspedisjonen.
|
Hva har Apollon blitt anerkjent som? |
Apollon Apollon (gresk: Ἀπόλλων, Apóllōn) er i gresk og romersk mytologi en av de mest betydningsfulle av de olympiske guder og med flest sider (guddommelige assosiasjoner) knyttet til sin guddom. Som idealet av kouros (en skjeggløs yngling) har Apollon blitt anerkjent som en gud av lyset og solen, sannhet og profeti, bueskyting, medisin og helbredelse, musikk, poesi og kunstartene, og mer. Apollon er sønn av Zevs og Leto, og har tvillingsøsteren Artemis, den jomfruelige månegudinnen for jakt, helbredelse, kyskhet og barnefødsler og beskytter av ville dyr og villmarken. Apollon er kjent i den greskpåvirkede etruskiske mytologien som Apulu. Apollon ble dyrket både i antikkens Hellas og i Romerriket, i tillegg til i den moderne hellenistiske nypaganisme (nyhedendommen). Som beskytter av Delfi (Pythianske Apollon) var Apollon er en spådomsgud — den profetiske guddom av Delfis orakel. Medisin og helbredelse ble knyttet til Apollon, enten gjennom guden selv eller indirekte ved hans sønn Asklepios. Apollon ble også sett som en som kunne påføre dårlig helse og dødelig pest foruten å være den som hadde muligheten til å helbrede. Blant gudens religiøse endringer var at han ble assosiert med herredømmet over de greske kolonistatene som spredte seg langs kysten av Middelhavet, foruten å bli beskytter av gjetere og dyreflokker. Som leder av musene (Apollon Musagetes) og leder for deres kor fungerte Apollon som beskytter av musikk og poesi. Hermes oppfant lyren for ham, og instrumentet ble en vanlig attributt for Apollon. Hymner som ble sunget til Apollons pris ble kalt for paeaner. I hellenistiske tider, særlig i løpet av 200-tallet f.Kr. som Apollon Helios, ble Apollon identifisert blant grekerne med Helios, solguden, og hans søster Artemis ble tilsvarende lik Selene, månegudinnen. I latinske tekster har forskeren Joseph Fontenrose imidlertid erklært seg ute av stand til å finne noen sammensmelting med Sol blant de augustinske poeter i det første århundre. Selv ikke i besvergelsene til Æneas og Latinus i Æneiden XII (161-215). Apollo og Helios/Sol forble atskilte vesener i de litterære og mytologiske tekstene fram til 200-tallet e.Kr.
|
Hva heter de fire innerste planetene i solsystemet? |
Solsystemet Planeter og dvergplaneter i solsystemet. Planetenes størrelse er i skala, men ikke den relative avstanden til solen. Solsystemet er det sol-planetsystemet som består av solen, jorden og månen, og andre kjente himmellegemer i det nærmeste verdensrommet. I dette systemet er solen i sentrum med de himmellegemer som den binder til seg gjennom gravitasjon, og har sin opprinnelse i en gravitasjonskollaps av en gigantisk gass- og støvsky for 4,6 milliarder år siden. Solsystemet befinner seg i Orion-armen i galaksen Melkeveien. Rundt solen kretser en rekke himmellegemer i en nærmest flat skive i ekvatorbaneplanet som kalles ekliptikken. Utenfor solen finnes det meste av solsystemets masse i de åtte planetene, som har tilnærmet sirkulære omløpsbaner. De fire indre planetene Merkur, Venus, jorden og Mars består i stor grad av stein og metall og kalles steinplanetene. De fire ytre planetene Jupiter, Saturn, Uranus og Neptun består i stor grad av hydrogen og helium. De kalles ofte gasskjempene, da de har en mye tykkere atmosfære bestående av ulike gasser, og de er i tillegg mye tyngre og større enn steinplanetene. Det finnes to områder med mindre himmellegemer. Asteroidebeltet mellom Mars og Jupiter består av mindre legemer av metall og stein slik som steinplanetene. Kuiperbeltet utenfor Neptuns omløpsbane består hovedsakelig av himmellegemer av frossent vann, ammoniakk og metan. Innenfor disse beltene er det kjent ti større objekter, Ceres, Pluto, Haumea, Makemake, Eris, Orcus, Quaoar, Varuna, Sedna og (225088) 2007 OR 10. De kalles dvergplaneter siden de er store nok til å ha blitt runde som en følge av sin gravitasjon. I en avstand av 0,8–1,6 lysår fra solen antar man at det finnes en Oorts sky, som kan være opprinnelsen til de langperiodiske kometene. Talløse mindre legemer som kometer, kentaurer, damokloider og interplanetariske støvpartikler følger sine egne baner gjennom solsystemet. Solvinden, en strøm av plasma fra solen, skaper en boble i den interplanetariske materien som også kalles heliosfæren. Den strekker seg ut til midten av det området som kalles den spredte skiven, et område i tilknytting til Kuiperbeltet.
|
- Loss:
MatryoshkaLoss
with these parameters:{
"loss": "MultipleNegativesRankingLoss",
"matryoshka_dims": [
768,
512,
256,
128,
64
],
"matryoshka_weights": [
1,
1,
1,
1,
1
],
"n_dims_per_step": -1
}
MNLI-Norwegian
- Dataset: NbAiLab/mnli-norwegian
- Size: 128,084 training samples
- Columns:
anchor
, positive
, and negative
- Approximate statistics based on the first 1000 samples:
|
anchor |
positive |
negative |
type |
string |
string |
string |
details |
- min: 5 tokens
- mean: 33.46 tokens
- max: 222 tokens
|
- min: 4 tokens
- mean: 17.25 tokens
- max: 56 tokens
|
- min: 4 tokens
- mean: 16.49 tokens
- max: 52 tokens
|
- Samples:
anchor |
positive |
negative |
Begrepsmessig kremskimming har to grunnleggende dimensjoner - produkt og geografi. |
Cream skimming har to fokus - produkt og geografi. |
Produkt og geografi har ingenting med kremskuming å gjøre. |
du vet i løpet av sesongen, og jeg antar at på nivået ditt øh, mister du dem til neste nivå hvis hvis de bestemmer seg for å huske foreldrelaget, bestemmer Braves seg for å ringe for å huske en fyr fra trippel A, så går en dobbel A-fyr opp til erstatt ham og en singel En fyr går opp for å erstatte ham |
Du mister tingene til følgende nivå hvis folket husker det. |
De utfører aldri tilbakekallinger på noe. |
Et av våre nummer vil utføre instruksjonene dine minutiøst. |
Et medlem av teamet mitt vil utføre ordrene dine med enorm presisjon. |
Vi har ingen ledige for øyeblikket, så du må ta grep selv. |
- Loss:
MatryoshkaLoss
with these parameters:{
"loss": "MultipleNegativesRankingLoss",
"matryoshka_dims": [
768,
512,
256,
128,
64
],
"matryoshka_weights": [
1,
1,
1,
1,
1
],
"n_dims_per_step": -1
}
Evaluation Datasets
utdanning_pair
- Dataset: utdanning_pair
- Size: 113 evaluation samples
- Columns:
anchor
and positive
- Approximate statistics based on the first 1000 samples:
|
anchor |
positive |
type |
string |
string |
details |
- min: 3 tokens
- mean: 7.39 tokens
- max: 19 tokens
|
- min: 3 tokens
- mean: 195.22 tokens
- max: 512 tokens
|
- Samples:
anchor |
positive |
Arrangementsplanlegger |
Som arrangementsplanlegger har du ansvaret for arrangementer av ulik størrelse. Du kan for eksempel arrangere konferanser messer bryllup eller konserter. Du jobber som leder av arrangementet og må planlegge koordinere og gjennomføre arrangementet fra start til slutt. Det er også viktig å ha god dialog med alle involverte. Vanlige arbeidsoppgaver for en arrangementsplanlegger planlegge arrangementet etter forespørsel fra kunde utarbeide tilbud gjennomføring av arrangementet etter bestilling fra kunde markedsføre arrangementet og sende ut invitasjoner bestille foredragsholdere underholdning og lignende forhandle frem avtaler for eksempel med sponsorer administrativt arbeid som eksempelvis å sette opp budsjett sende faktura og gjennomføre utbetalinger |
Intensivsykepleier |
Intensivsykepleiere er autoriserte sykepleiere med spesialisering i intensivsykepleie. Vanlige arbeidsoppgaver for en intensivsykepleier Behandle akutt eller kritisk syke pasienter hvor situasjonen ofte er livstruende og kompleks og sykdomstilstanden kan endre seg raskt. Kontinuerlig overvåking og pleie for å opprettholde livsviktige funksjoner hos pasienten. En intensivavdeling er høyteknologisk og yrket krever bruk av svært avansert medisinsk utstyr. Som intensivsykepleier har du et selvstendig sykepleierfaglig ansvar. Du skal handle forsvarlig ivareta pårørende og sikre pasientens autonomi integritet og rettigheter. Det betyr at du skal ivareta den alvorlig kritisk syke pasienten og dens pårørende på en omsorgsfull og forsvarlig måte. Intensivsykepleieren jobber med behandlende helsefremmende forebyggende lindrende og rehabiliterende tiltak. Intensivsykepleiere jobber tett med andre yrker som for eksempel anestesileger intensivister/intensivmedisinere fysioterapeuter kirurger prester barneleger og lignende. |
Kirurg |
Kirurgen er lege med spesialisering i kirurgi altså operasjoner. Kirurgi er et bredt fagfelt hvor du kan utdanne deg innenfor spesialiseringsområder som for eksempel barnekirurgiendokrinkirurgigastroenterologisk kirurgihovud- og halskirurgikarkirurginevrokirurgiplastikkirurgithoraxkirurgiurologiortopediDe fleste velger i dag å utdanne seg til spesialist i et felt i tillegg til å være generell kirurg på grunn av et økende behov for spesialisering. |
- Loss:
MatryoshkaLoss
with these parameters:{
"loss": "MultipleNegativesRankingLoss",
"matryoshka_dims": [
768,
512,
256,
128,
64
],
"matryoshka_weights": [
1,
1,
1,
1,
1
],
"n_dims_per_step": -1
}
NorQuAD
- Dataset: ltg/norquad
- Size: 472 evaluation samples
- Columns:
anchor
and positive
- Approximate statistics based on the first 1000 samples:
|
anchor |
positive |
type |
string |
string |
details |
- min: 7 tokens
- mean: 15.64 tokens
- max: 39 tokens
|
- min: 315 tokens
- mean: 509.97 tokens
- max: 512 tokens
|
- Samples:
anchor |
positive |
Hvordan har det vært for Dan Coats å finne seg en god posisjon i Donald Trumps administrasjon? |
USAs nasjonale etterretningssjef går av President Donald Trump bekrefter at Dan Coats skal gå av som USAs nasjonale etterretningsdirektør. (Foto: Evan Vucci/AP/NTB Scanpix) Coats har vært på kollisjonskurs med president Donald Trump i flere saker, deriblant Russland og presidentens kritikk av etterretningsvesenet. Den forestående avgangen ble varslet tidligere søndag av kilder som avisen New York Times hadde snakket med. Nå bekrefter USAs president Donald Trump at Coats vil gå av 15. august. Presidenten vil nominere republikaneren John Ratcliffe til å overta stillingen. Den tidligere republikanske senatoren Coats har siden mars 2017 vært øverste sjef for 17 etterretningsorganer. Han tok over stillingen fra James Clapper. Uenigheter Ifølge nyhetsbyrået AP har det blant toppolitikere i Washington i flere måneder gått rykter om at Coats kom til å trekke seg som etterretningsdirektør. Det var imidlertid ventet at han kom til å forlate sin stilling i forbindelse med slutten av presidentperioden neste høst. Ifølge amerikanske medier har det vært vanskelig for Coats å finne fotfeste i Trump-administrasjonen. Etterforskningen rundt Russlands angivelige innblanding i 2016-valget er blant sakene som har vært grobunn til flere uenigheter mellom Coats og Trump. Også Nord-Korea, IS og Iran har vært saker hvor de har vært på kollisjonskurs. Blant annet uttalte Coats i januar at etterretningstjenesten er av den oppfatning at Nord-Korea sannsynligvis ikke kommer til å gi slipp på alle sine atomvåpen og produksjonskapasiteter, i strid med Trumps egen oppfatning. Lojal Ratcliffe blir beskrevet som lojal overfor Trump og er i motsetning til Coats en kritiker av spesialetterforsker Robert Mueller, som var sjef for Russland-etterforskningen. Republikaneren kritiserte Mueller for å si at Trump kan straffeforfølges når han går av som president fordi han forsøkte å hindre Russland-etterforskningen. Ratcliffe hevdet at premisset for hans etterforskning var at Trump var skyldig inntil det motsatte ble bevist. Ratcliffe blir den sjette personen i stillingen siden den ble opprettet i kjølvannet av terrorangrepene 11. september 2001. |
Når lover Boris Johnson å ta Strobritannia ut av EU? |
Corbyn trapper opp kampen mot brexit uten avtale Jeremy Corbyn skal i samtale med andre politikere tirsdag for å se hvordan han kan hindre at britene forlater EU uten en avtale. Foto: Frank Augstein / AP / NTB scanpix På Corbyns gjesteliste står ikke bare andre opposisjonspolitikere, men også moderate, EU-vennlige medlemmer av Det konservative partiet. – Jeg håper vi kan komme fram til en velfungerende løsning og få med oss andre fra hele spekteret i Parlamentet som ser farene ved en brexit uten avtale, skrev Corbyn i et innlegg i avisen The Independent mandag. – Prisgitt Trump – Jeg vil gjøre alt for å hindre en brexit uten avtale, skriver Labour-lederen, som blant annet er bekymret for statsminister Boris Johnsons tilnærming til USAs president Donald Trump. Corbyn mener «en hard brexit i virkeligheten er en Trump-avtale-brexit» – Det vil ikke gi oss selvråderetten tilbake, men vi vil være prisgitt Trump og amerikanske storselskaper, skriver han, med henvisning til en mulig fremtidig frihandelsavtale mellom USA og Storbritannia. Selv mener han et nyvalg er den beste muligheten for å hindre at britene forlater EU uten en sluttavtale. Andre parlamentarikere har luftet tanken om å lovfeste en utsettelse av brexit. Samles neste uke Parlamentet trer ikke sammen før til neste uke, men brexitmotstandere har diskutert hva de skal gjøre helt siden Johnson tok over etter Theresa May og gjentok løftet om å ta britene ut av unionen 31. oktober – med eller uten en avtale. Johnson har sagt at han ønsker en ny og bedre avtale med EU, men at det viktigste er å unngå flere utsettelser. Corbyn har sagt han vil stille mistillitsforslag mot Johnson så fort det lar seg gjøre og har tilbudt seg å lede en overgangsregjering dersom forslaget blir vedtatt. En av utfordringene med den løsningen er at flere av dem som vil stikke kjepper i hjulene for Johnsons brexitprosess, slett ikke vil ha Corbyn som statsminister. |
Hva heter det meste solgte videospillet i 2007? |
Call of Duty 4: Modern Warfare Call of Duty 4: Modern Warfare (ofte forkortet til Call of Duty 4 eller COD4) er et førstepersonsskytespill utviklet av Infinity Ward og gitt ut av Activision i 2007. Spillet er det fjerde i Call of Duty-serien, og det første i underserien Modern Warfare. Spillets etterfølger er Call of Duty: Modern Warfare 2, hvor handlingen i Call of Duty 4: Modern Warfare fortsetter. I motsetning til de tidligere Call of Duty-spillene, hvor handlingen er lagt til andre verdenskrig, er Call of Duty 4: Modern Warfare satt til 2011. I spillet har en radikal leder tatt kontroll over et uspesifisert land i Midtøsten og henrettet presidenten. Samtidig har en ultranasjonalistisk bevegelse startet en borgerkrig i Russland. Handlingen blir hovedsakelig vist fra perspektivet til en soldat i United States Marine Corps (USMC) og en britisk soldat i Special Air Service (SAS). Enspillerdelen knyttes til en rekke land og områder, blant annet Storbritannia, Aserbajdsjan, Midtøsten, Russland og Ukraina. Flerspillerdelen har flere spillmoduser og et nivåsystem som lar spillere få tilgang til nye våpen og evner mens de når høyere nivåer. Spillet fikk god kritikk: 94 av 100 poeng fra både GameRankings og Metacritic. Det fikk ros for sin enspiller- og flerspillerdel, men ble kritisert for at det ikke gjorde mye nytt innenfor førstepersonsskytespill-sjangeren. Spillet fikk flere priser, blant annet IGNs «Best Xbox 360 Game», GameSpots «PlayStation 3 Game of the Year», GamePros «Game of the Year» og tre priser fra Academy of Interactive Arts & Sciences. Det var verdens bestselgende videospill i 2007, og hadde solgt syv millioner kopier per januar 2008 og nesten 16 millioner per november 2013. Spillet ble først utviklet for Microsoft Windows, PlayStation 3 og Xbox 360 over en toårsperiode. OS X-versjonen ble senere utviklet av Aspyr, ett år etter de andre versjonene. Nintendo Wii-versjonen ble utviklet av Treyarch ennå ett år senere. Det ble også lagd en versjon for Nintendo DS. En ny og oppdatert remaster-versjon kalt Call of Duty: Modern Warfare Remastered ble gitt ut for PlayStation 4, Xbox One og PC sammen med visse utgaver av Call of Duty: Infinite Warfare 4. november 2016. Denne nyversjonen fikk en selvstenig utgivelse i juni 2017. Serien fikk en reboot med utgivelsen av Call of Duty: Modern Warfare i 2019.
|
- Loss:
MatryoshkaLoss
with these parameters:{
"loss": "MultipleNegativesRankingLoss",
"matryoshka_dims": [
768,
512,
256,
128,
64
],
"matryoshka_weights": [
1,
1,
1,
1,
1
],
"n_dims_per_step": -1
}
MNLI-Norwegian
- Dataset: NbAiLab/mnli-norwegian
- Size: 1,670 evaluation samples
- Columns:
anchor
, positive
, and negative
- Approximate statistics based on the first 1000 samples:
|
anchor |
positive |
negative |
type |
string |
string |
string |
details |
- min: 6 tokens
- mean: 30.34 tokens
- max: 74 tokens
|
- min: 6 tokens
- mean: 14.76 tokens
- max: 43 tokens
|
- min: 6 tokens
- mean: 15.13 tokens
- max: 38 tokens
|
- Samples:
anchor |
positive |
negative |
Jeg tenkte ikke engang på det, men jeg var så frustrert, og jeg endte opp med å snakke med ham igjen. |
Jeg var så opprørt at jeg bare begynte å snakke med ham igjen. |
Jeg har ikke snakket med ham igjen. |
Og jeg trodde det var et privilegium, og det er fortsatt, det er fortsatt, jeg var den eneste ni to-to Ex-O som var mitt AFFC Air Force Career-felt. |
Jeg var under inntrykk av at jeg var den eneste med det nummeret på AFFC Air Force Career-feltet. |
Vi fikk alle det samme nøyaktige antallet, uansett hvilke privilegier vi ble lovet å bli gitt, det hele var løgn. |
De fortalte meg at jeg ville bli kalt inn en fyr på slutten for at jeg skulle møtes. |
Jeg ble fortalt at en fyr ville bli kalt inn for at jeg skulle møte. |
Jeg ble aldri fortalt noe om å møte noen. |
- Loss:
MatryoshkaLoss
with these parameters:{
"loss": "MultipleNegativesRankingLoss",
"matryoshka_dims": [
768,
512,
256,
128,
64
],
"matryoshka_weights": [
1,
1,
1,
1,
1
],
"n_dims_per_step": -1
}
Training Hyperparameters
Non-Default Hyperparameters
eval_strategy
: epoch
per_device_train_batch_size
: 32
per_device_eval_batch_size
: 16
gradient_accumulation_steps
: 16
learning_rate
: 2e-05
num_train_epochs
: 4
lr_scheduler_type
: cosine
warmup_ratio
: 0.1
bf16
: True
tf32
: True
load_best_model_at_end
: True
optim
: adamw_torch_fused
batch_sampler
: no_duplicates
All Hyperparameters
Click to expand
overwrite_output_dir
: False
do_predict
: False
eval_strategy
: epoch
prediction_loss_only
: True
per_device_train_batch_size
: 32
per_device_eval_batch_size
: 16
per_gpu_train_batch_size
: None
per_gpu_eval_batch_size
: None
gradient_accumulation_steps
: 16
eval_accumulation_steps
: None
learning_rate
: 2e-05
weight_decay
: 0.0
adam_beta1
: 0.9
adam_beta2
: 0.999
adam_epsilon
: 1e-08
max_grad_norm
: 1.0
num_train_epochs
: 4
max_steps
: -1
lr_scheduler_type
: cosine
lr_scheduler_kwargs
: {}
warmup_ratio
: 0.1
warmup_steps
: 0
log_level
: passive
log_level_replica
: warning
log_on_each_node
: True
logging_nan_inf_filter
: True
save_safetensors
: True
save_on_each_node
: False
save_only_model
: False
restore_callback_states_from_checkpoint
: False
no_cuda
: False
use_cpu
: False
use_mps_device
: False
seed
: 42
data_seed
: None
jit_mode_eval
: False
use_ipex
: False
bf16
: True
fp16
: False
fp16_opt_level
: O1
half_precision_backend
: auto
bf16_full_eval
: False
fp16_full_eval
: False
tf32
: True
local_rank
: 0
ddp_backend
: None
tpu_num_cores
: None
tpu_metrics_debug
: False
debug
: []
dataloader_drop_last
: False
dataloader_num_workers
: 0
dataloader_prefetch_factor
: None
past_index
: -1
disable_tqdm
: False
remove_unused_columns
: True
label_names
: None
load_best_model_at_end
: True
ignore_data_skip
: False
fsdp
: []
fsdp_min_num_params
: 0
fsdp_config
: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap
: None
accelerator_config
: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed
: None
label_smoothing_factor
: 0.0
optim
: adamw_torch_fused
optim_args
: None
adafactor
: False
group_by_length
: False
length_column_name
: length
ddp_find_unused_parameters
: None
ddp_bucket_cap_mb
: None
ddp_broadcast_buffers
: False
dataloader_pin_memory
: True
dataloader_persistent_workers
: False
skip_memory_metrics
: True
use_legacy_prediction_loop
: False
push_to_hub
: False
resume_from_checkpoint
: None
hub_model_id
: None
hub_strategy
: every_save
hub_private_repo
: False
hub_always_push
: False
gradient_checkpointing
: False
gradient_checkpointing_kwargs
: None
include_inputs_for_metrics
: False
eval_do_concat_batches
: True
fp16_backend
: auto
push_to_hub_model_id
: None
push_to_hub_organization
: None
mp_parameters
:
auto_find_batch_size
: False
full_determinism
: False
torchdynamo
: None
ray_scope
: last
ddp_timeout
: 1800
torch_compile
: False
torch_compile_backend
: None
torch_compile_mode
: None
dispatch_batches
: None
split_batches
: None
include_tokens_per_second
: False
include_num_input_tokens_seen
: False
neftune_noise_alpha
: None
optim_target_modules
: None
batch_eval_metrics
: False
eval_on_start
: False
batch_sampler
: no_duplicates
multi_dataset_batch_sampler
: proportional
Training Logs
Epoch |
Step |
Training Loss |
utdanning pair loss |
norqa loss |
mnli no triplet loss |
dim_128_cosine_map@100 |
dim_256_cosine_map@100 |
dim_512_cosine_map@100 |
dim_64_cosine_map@100 |
dim_768_cosine_map@100 |
0.3852 |
100 |
6.441 |
- |
- |
- |
- |
- |
- |
- |
- |
0.7703 |
200 |
1.9466 |
- |
- |
- |
- |
- |
- |
- |
- |
0.9976 |
259 |
- |
0.5855 |
2.2512 |
2.2030 |
0.6311 |
0.6596 |
0.6827 |
0.5448 |
0.6877 |
1.1555 |
300 |
1.7012 |
- |
- |
- |
- |
- |
- |
- |
- |
1.5407 |
400 |
1.3651 |
- |
- |
- |
- |
- |
- |
- |
- |
1.9259 |
500 |
1.2186 |
- |
- |
- |
- |
- |
- |
- |
- |
1.999 |
519 |
- |
0.4506 |
2.0231 |
2.0452 |
0.6235 |
0.656 |
0.6816 |
0.5518 |
0.6852 |
2.3110 |
600 |
1.1422 |
- |
- |
- |
- |
- |
- |
- |
- |
2.6962 |
700 |
0.9341 |
- |
- |
- |
- |
- |
- |
- |
- |
2.9966 |
778 |
- |
0.3950 |
1.8989 |
1.9680 |
0.6242 |
0.6560 |
0.6785 |
0.5475 |
0.6837 |
3.0814 |
800 |
0.9459 |
- |
- |
- |
- |
- |
- |
- |
- |
3.4665 |
900 |
0.8713 |
- |
- |
- |
- |
- |
- |
- |
- |
3.8517 |
1000 |
0.8365 |
- |
- |
- |
- |
- |
- |
- |
- |
3.9904 |
1036 |
- |
0.4154 |
1.8701 |
1.9717 |
0.6196 |
0.6515 |
0.6768 |
0.5463 |
0.6826 |
- The bold row denotes the saved checkpoint.
Framework Versions
- Python: 3.11.9
- Sentence Transformers: 3.0.1
- Transformers: 4.42.3
- PyTorch: 2.3.1+cu121
- Accelerate: 0.31.0
- Datasets: 2.20.0
- Tokenizers: 0.19.1
Citation
BibTeX
Sentence Transformers
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
MatryoshkaLoss
@misc{kusupati2024matryoshka,
title={Matryoshka Representation Learning},
author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
year={2024},
eprint={2205.13147},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
MultipleNegativesRankingLoss
@misc{henderson2017efficient,
title={Efficient Natural Language Response Suggestion for Smart Reply},
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
year={2017},
eprint={1705.00652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
NorQuAD
@inproceedings{
ivanova2023norquad,
title={NorQu{AD}: Norwegian Question Answering Dataset},
author={Sardana Ivanova and Fredrik Aas Andreassen and Matias Jentoft and Sondre Wold and Lilja {\O}vrelid},
booktitle={The 24th Nordic Conference on Computational Linguistics},
year={2023},
url={https://aclanthology.org/2023.nodalida-1.17.pdf}
}
MNLI-Norwegian
@InProceedings{N18-1101,
author = "Williams, Adina
and Nangia, Nikita
and Bowman, Samuel",
title = "A Broad-Coverage Challenge Corpus for
Sentence Understanding through Inference",
booktitle = "Proceedings of the 2018 Conference of
the North American Chapter of the
Association for Computational Linguistics:
Human Language Technologies, Volume 1 (Long
Papers)",
year = "2018",
publisher = "Association for Computational Linguistics",
pages = "1112--1122",
location = "New Orleans, Louisiana",
url = "http://aclweb.org/anthology/N18-1101"
}