You need to agree to share your contact information to access this model

This repository is publicly accessible, but you have to accept the conditions to access its files and content.

BGE base WikipediaQA-ita

This is a sentence-transformers model finetuned from BAAI/bge-base-en-v1.5. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: BAAI/bge-base-en-v1.5
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 tokens
Similarity Function: Cosine Similarity
Language: it
License: apache-2.0

Evaluation

Dimension	Baseline	Fine-tuned	Improvement
768	0.7245	0.8385	15.75%
512	0.7028	0.8365	19.02%
256	0.6484	0.8275	27.60%
128	0.5337	0.8089	51.57%
64	0.3630	0.7697	112.00%

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': True}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    "Cos'è il volume?",
    'Cosa si intende per singolarità in fisica?',
    'Cosa fece durante il suo insegnamento?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Dataset: dim_768
Evaluated with InformationRetrievalEvaluator

Metric	This Model	Base Model
cosine_accuracy@1	0.7534636553	0.6136838110
cosine_accuracy@3	0.8732207250	0.7589675460
cosine_accuracy@5	0.8883089770	0.7898083128
cosine_accuracy@10	0.9052002277	0.8223571835
cosine_precision@1	0.7534636553	0.6136838110
cosine_precision@3	0.2910735750	0.2529891820
cosine_precision@5	0.1776617954	0.1579616626
cosine_precision@10	0.0905200228	0.0822357184
cosine_recall@1	0.7534636553	0.6136838110
cosine_recall@3	0.8732207250	0.7589675460
cosine_recall@5	0.8883089770	0.7898083128
cosine_recall@10	0.9052002277	0.8223571835
cosine_ndcg@10	0.8384852730	0.7244706923
cosine_mrr@10	0.8162341428	0.6924611082
cosine_map@100	0.8179246210	0.6959149352

Information Retrieval

Dataset: dim_512
Evaluated with InformationRetrievalEvaluator

Metric	This Model	Base Model
cosine_accuracy@1	0.7517555513	0.5930916682
cosine_accuracy@3	0.8708483583	0.7353387740
cosine_accuracy@5	0.8864110837	0.7657050674
cosine_accuracy@10	0.9031125451	0.8025241981
cosine_precision@1	0.7517555513	0.5930916682
cosine_precision@3	0.2902827861	0.2451129247
cosine_precision@5	0.1772822167	0.1531410135
cosine_precision@10	0.0903112545	0.0802524198
cosine_recall@1	0.7517555513	0.5930916682
cosine_recall@3	0.8708483583	0.7353387740
cosine_recall@5	0.8864110837	0.7657050674
cosine_recall@10	0.9031125451	0.8025241981
cosine_ndcg@10	0.8364916693	0.7027860074
cosine_mrr@10	0.8142769403	0.6703873661
cosine_map@100	0.8159454560	0.6741256048

Information Retrieval

Dataset: dim_256
Evaluated with InformationRetrievalEvaluator

Metric	This Model	Base Model
cosine_accuracy@1	0.7410324540	0.5345416588
cosine_accuracy@3	0.8637312583	0.6777377111
cosine_accuracy@5	0.8787246157	0.7135130006
cosine_accuracy@10	0.8953311824	0.7551717593
cosine_precision@1	0.7410324540	0.5345416588
cosine_precision@3	0.2879104194	0.2259125704
cosine_precision@5	0.1757449231	0.1427026001
cosine_precision@10	0.0895331182	0.0755171759
cosine_recall@1	0.7410324540	0.5345416588
cosine_recall@3	0.8637312583	0.6777377111
cosine_recall@5	0.8787246157	0.7135130006
cosine_recall@10	0.8953311824	0.7551717593
cosine_ndcg@10	0.8275013364	0.6484387526
cosine_mrr@10	0.8048458790	0.6139468424
cosine_map@100	0.8065838558	0.6183180421

Information Retrieval

Dataset: dim_128
Evaluated with InformationRetrievalEvaluator

Metric	This Model	Base Model
cosine_accuracy@1	0.7194913646	0.4141203264
cosine_accuracy@3	0.8449421143	0.5562725375
cosine_accuracy@5	0.8621180490	0.5971721389
cosine_accuracy@10	0.8800531410	0.6548680964
cosine_precision@1	0.7194913646	0.4141203264
cosine_precision@3	0.2816473714	0.1854241792
cosine_precision@5	0.1724236098	0.1194344278
cosine_precision@10	0.0880053141	0.0654868096
cosine_recall@1	0.7194913646	0.4141203264
cosine_recall@3	0.8449421143	0.5562725375
cosine_recall@5	0.8621180490	0.5971721389
cosine_recall@10	0.8800531410	0.6548680964
cosine_ndcg@10	0.8089255548	0.5337452948
cosine_mrr@10	0.7852223021	0.4951471545
cosine_map@100	0.7872570794	0.5011613720

Information Retrieval

Dataset: dim_64
Evaluated with InformationRetrievalEvaluator

Metric	This Model	Base Model
cosine_accuracy@1	0.6734674511	0.2564053900
cosine_accuracy@3	0.8043271968	0.3720819890
cosine_accuracy@5	0.8261529702	0.4202884798
cosine_accuracy@10	0.8500664263	0.4790282786
cosine_precision@1	0.6734674511	0.2564053900
cosine_precision@3	0.2681090656	0.1240273297
cosine_precision@5	0.1652305940	0.0840576960
cosine_precision@10	0.0850066426	0.0479028279
cosine_recall@1	0.6734674511	0.2564053900
cosine_recall@3	0.8043271968	0.3720819890
cosine_recall@5	0.8261529702	0.4202884798
cosine_recall@10	0.8500664263	0.4790282786
cosine_ndcg@10	0.7672278878	0.3629672889
cosine_mrr@10	0.7425634870	0.3263833534
cosine_map@100	0.7445402342	0.3343989330

Information Retrieval

Dataset: sequential_score
Evaluated with InformationRetrievalEvaluator

Metric	This Model	Base Model
sequential_score	0.6734674511	0.2564053900

Training Details

Training Dataset

Unnamed Dataset

Size: 94,833 training samples
Columns: positive and anchor
Approximate statistics based on the first 1000 samples:
positive anchor
type string string
details
min: 60 tokens
mean: 505.04 tokens
max: 512 tokens

min: 6 tokens
mean: 19.99 tokens
max: 72 tokens

	positive	anchor
type	string	string
details	min: 60 tokens mean: 505.04 tokens max: 512 tokens	min: 6 tokens mean: 19.99 tokens max: 72 tokens

Samples:

positive	anchor
Cleopatra (nome) . Varianti Ipocoristici: Clea, Cleo Maschili: Cleopatro Varianti in altre lingue Catalano: Cleòpatra, Cleopatra Ceco: Kleopatra Croato: Kleopatra Francese: Cléopâtre Ipocoristici: Cléa, Cléo Greco antico: Κλεοπάτρα (Kleopátra) Maschili: Κλεόπατρος (Kleópatros) Ipocoristici maschili: Κλωπᾶς (Klopâs), Κλεόπας (Kleópas) Inglese: Cleopatra Ipocoristici: Cleo Latino: Cleopatra Olandese: Cleopatra Polacco: Kleopatra Portoghese: Cleópatra Russo: Клеопатра (Kleopatra) Spagnolo: Cleopatra Tedesco: Kleopatra Ucraino: Клеопатра (Kleopatra) Origine e diffusione Deriva, tramite il latino Cleopatra, dal nome greco Κλεοπατρα (Kleopatra); si tratta di un composto di κλέος (kléos, "fama", "gloria") e πατρός (patrós), genitivo di πατήρ (patḗr, "padre"), quindi il significato complessivo può essere interpretato come "di padri gloriosi", "che ha gloria per la sua stirpe", "gloria del padre". Entrambi gli elementi sono comuni nell'onomastica greca: il primo è presente in Pericle, Empedocle, Temistocle, Tecla ed Ercole, il secondo in Antipatro, ed entrambi, disposti nell'ordine inverso, formano il nome Patroclo. Va però notato che alcune fonti riconducono il primo elemento a κλείς (kleís, "chiave"), quindi "chiave per la patria (terra dei padri)". Il nome era comune nell'antica Grecia ed è presente anche nella mitologia con alcune figure secondarie, fra cui Cleopatra, moglie di Fineo re dei Traci, ripudiata e imprigionata dal marito e poi liberata dagli Argonauti, e Cleopatra Alcione, figlia di Idas e moglie di Meleagro. Era inoltre tradizionale in varie dinastie reali macedoni ed elleniche, specie in quella tolemaica, nella quale le donne con questo nome sono numerosissime: tra queste va citata in particolare Cleopatra, l'ultima regina a governare l'Egitto, amante di Giulio Cesare e poi di Marco Antonio; la sua figura è presente in numerose opere artistiche, letterarie, musicali e cinematografiche, che l'hanno resa talmente famosa che l'associazione tra nome e regina è quasi automatica. Proprio a questa notorietà è dovuto l'utilizzo del nome in Italia, che è scarso ma non nullo: è attestato per un	`Chi è stata l'ultima regina a governare l'Egitto con il nome Cleopatra?`
Caravino Caravino (Caravin in piemontese) è un comune italiano di abitanti della città metropolitana di Torino in Piemonte. Geografia fisica Il paese è adagiato tra le colline del Canavese eporediese orientale, confinando a ovest con Strambino ed Ivrea, a est con Cossano Canavese e Settimo Rottaro, a sud con Vestignè e Borgomasino, a nord con Azeglio e Albiano d'Ivrea. Non è attraversato da nessun fiume; solo il piccolo Naviglio di Ivrea scorre 2 km verso ovest, mentre la Dora Baltea a circa 6 km più a ovest. Storia Sono stati ritrovati resti romani del III secolo. Il suo toponimo potrebbe derivare dal termine cavrinum, ovvero "caprino", indicando la locale pastorizia ovina; oppure da quadratum, essendo al centro geografico degli allora poteri tra le marche di Ivrea, Torino e la diocesi di Vercelli. Ultima ipotesi, da carra - vinum, un'antica unità di misura torinese per immagazzinare delle grandi quantità vino, corrispondente a 493,069 litri. Il toponimo comparve ufficialmente dall'XI secolo, come feudo eporediese dei conti Masino-Valperga, che si definirono sia discendenti diretti di Arduino, che fu a capo della tutta la Marca d'Ivrea, sia dei Conti di Pombia, già padroni di Borgomasino. Inoltre, fu proprio a partire dall'XI secolo che i benedettini portarono qui culto di San Giacomo, divenuto poi il patrono del paese, di cui si attesta anche la chiesetta in località Carpaneto, poi affrescata dal pittore Giacomino da Ivrea (del 1465), dipendente dalla Cella di Vestignè e dall'Abbazia di Fruttuaria di San Benigno Canavese. Il prestigio del borgo al di sotto del Castello seguì le stesse sorti di quest'ultimo, almeno fino alla prima metà del XIV secolo, allorquando i Valperga non riuscirono più a contrastare l'espansione del monferrino Facino Cane, che saccheggiò barbaramente il paese e altri comuni limitrofi nell'estate del 1397. A quest'ultimo succedettero i francesi del XV secolo	`Il toponimo di Caravino potrebbe derivare da quale termine latino?`
Peć Peć ( o Peja; ; ) è una città del Kosovo occidentale. Nel 2011 la città aveva una popolazione di abitanti, mentre l'intera municipalità aveva una popolazione di abitanti. In epoca medioevale, nel 1346, fu sede del Patriarcato della Chiesa ortodossa serba. Secoli dopo, nel 1899 vi fu fondata dalla popolazione locale albanese la Lega di Peja. Il monastero patriarcale di Peć è patrimonio dell'umanità dell'UNESCO, incluso nei Monumenti medievali in Kosovo. Geografia fisica Peć sorge nell'estremità nord-occidentale della piana di Metochia, ad est del gruppo montuoso delle Prokletije e della gola di Rugova. La città è attraversata da ovest verso est dal torrente Bistrica, affluente di destra del Drin Bianco. È situata ad 85 km ad ovest di Pristina e a 250 km a nord di Tirana. Etimologia In serbo peć significa letteralmente forno. Nei documenti della Repubblica di Ragusa la città viene talvolta menzionata come Forno. Durante la dominazione ottomana la città era conosciuta come İpek (ايپك). Altre denominazioni storiche sono in latino Pescium e in greco Episkion (Επισκιον). Storia Tra il 1180 ed il 1190 il principe Stefano Nemanja liberò l'area di Peć dalla presenza bizantina, dando il via così al dominio serbo sulla regione. Suo figlio Stefano Nemanjić cedette la città e il contado al monastero di Žiča nel 1220. Peć passò così sotto il diretto controllo degli arcivescovi serbi, che costruirono le loro residenze e le loro chiese. Nel 1346 il re serbo Stefan Dusan fece di Peć il centro della chiesa ortodossa serba. Peć fu conquistata dagli Ottomani nel 1455 e ribattezzata İpek. Nel 1513 divenne capoluogo del sangiaccato omonimo a sua volta suddiviso in quattro kaza. Nel corso dei quattro secoli di dominazione ottomana affluirono nella città numerosi immigrati turchi che le conferirono un aspetto tipicamente levantino. Nel 1899, su iniziativa di Haxhi	`In quale regione del Kosovo si trova la città di Peć?`

Loss: MatryoshkaLoss with these parameters:

{
    "loss": "MultipleNegativesRankingLoss",
    "matryoshka_dims": [
        768,
        512,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: epoch
per_device_train_batch_size: 32
per_device_eval_batch_size: 16
gradient_accumulation_steps: 16
learning_rate: 2e-05
num_train_epochs: 4
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: True
tf32: True
load_best_model_at_end: True
optim: adamw_torch_fused
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: epoch
prediction_loss_only: True
per_device_train_batch_size: 32
per_device_eval_batch_size: 16
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 16
eval_accumulation_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 4
max_steps: -1
lr_scheduler_type: cosine
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: True
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Framework Versions

Python: 3.10.12
Sentence Transformers: 3.0.0
Transformers: 4.41.2
PyTorch: 2.3.0+cu121
Accelerate: 0.30.1
Datasets: 2.19.2
Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning}, 
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

Downloads last month: 2

Safetensors

Model size

109M params

Tensor type

F32

Sentence Similarity

This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Finetuned from

Dataset used to train ReDiX/bge-base-it-v1.5

Collection including ReDiX/bge-base-it-v1.5

Embeddings

Collection

Embeddings models for sentence similarity and RAG • 2 items • Updated Jun 7

Evaluation results

Cosine Accuracy@1 on dim 768
self-reported

0.753
Cosine Accuracy@3 on dim 768
self-reported

0.873
Cosine Accuracy@5 on dim 768
self-reported

0.888
Cosine Accuracy@10 on dim 768
self-reported

0.905
Cosine Precision@1 on dim 768
self-reported

0.753
Cosine Precision@3 on dim 768
self-reported

0.291
Cosine Precision@5 on dim 768
self-reported

0.178
Cosine Precision@10 on dim 768
self-reported

0.091
Cosine Recall@1 on dim 768
self-reported

0.753
Cosine Recall@3 on dim 768
self-reported

0.873

View on Papers With Code

You need to agree to share your contact information to access this model

BGE base WikipediaQA-ita

Model Details

Model Description

Evaluation

Model Sources

Full Model Architecture

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Information Retrieval

Information Retrieval

Information Retrieval

Information Retrieval

Information Retrieval

Information Retrieval

Training Details

Training Dataset

Unnamed Dataset

Training Hyperparameters

Non-Default Hyperparameters

All Hyperparameters

Framework Versions

Citation

BibTeX

Sentence Transformers

MatryoshkaLoss

MultipleNegativesRankingLoss

Finetuned from BAAI/bge-base-en-v1.5

Dataset used to train ReDiX/bge-base-it-v1.5

Collection including ReDiX/bge-base-it-v1.5

Evaluation results

Finetuned from