vietnamese-bi-encoder Financial Matryoshka - 2

This is a sentence-transformers model finetuned from bkai-foundation-models/vietnamese-bi-encoder. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: bkai-foundation-models/vietnamese-bi-encoder
Maximum Sequence Length: 256 tokens
Output Dimensionality: 768 tokens
Similarity Function: Cosine Similarity
Language: en
License: apache-2.0

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("anhtuansh/vietnamese-bi-encoder-financial-matryoshka-2")
# Run inference
sentences = [
    '<p style="margin-top:6.0pt;text-align:justify;text-indent:36.0pt;line-height:16.0pt;background:white;"><span style="color:black;">Căn cứ Điều 108, Luật Thú y số 79/2015/QH 13 ngày 19/6/2015 của Quốc hội và Điều 21 Nghị định số 35/2016/NĐ-CP ngày 15/5/2016 của Chính phủ quy định về hành nghề thú y như sau;</span></p>\n\n<p style="margin-top:6.0pt;text-align:justify;text-indent:36.0pt;line-height:16.0pt;background:white;"><strong><span style="color:black;">1. Điều kiện hành nghề thú y:</span></strong></p>\n\n<p style="margin-top:6.0pt;text-align:justify;text-indent:36.0pt;line-height:16.0pt;background:white;"><span style="color:black;">- Có đạo đức nghề nghiệp;</span></p>\n\n<p style="margin-top:6.0pt;text-align:justify;text-indent:36.0pt;line-height:16.0pt;background:white;"><span style="color:black;">- Có đủ sức khỏe hành nghề.</span></p>\n\n<p style="margin-top:6.0pt;text-align:justify;text-indent:36.0pt;line-height:16.0pt;background:white;"><span style="letter-spacing:-.2pt;"><span style="color:black;">- Có Chứng chỉ hành nghề thú y phù hợp với từng loại hình hành nghề thú y.</span></span></p>\n\n<p style="margin-top:6.0pt;text-align:justify;text-indent:36.0pt;line-height:16.0pt;background:white;"><strong><span style="color:black;">2. Điều kiện để cấp chứng chỉ hành nghề thú y:</span></strong></p>\n\n<p style="margin-top:6.0pt;text-align:justify;text-indent:36.0pt;line-height:16.0pt;background:white;"><span style="color:black;">a.&nbsp;</span><span style="color:black;">Người hành nghề chẩn đoán, chữa bệnh, phẫu thuật động vật, tư vấn các hoạt động liên quan đến lĩnh vực thú y tối thiểu phải có bằng trung cấp chuyên ngành thú y, chăn nuôi thú y hoặc trung cấp nuôi&nbsp;</span><span style="color:black;">tr</span><span style="color:black;">ồng thủy sản, bệnh&nbsp;học thủy sản đối với hành nghề thú y thủy sản. Người hành nghề tiêm phòng cho động vật phải có chứng chỉ tốt nghiệp lớp đào tạo về kỹ thuật do cơ quan quản lý nhà nước có thẩm quyền cấp tỉnh cấp.</span></p>\n\n<p style="margin-top:6.0pt;text-align:justify;text-indent:36.0pt;line-height:16.0pt;background:white;"><span style="color:black;">b.&nbsp;Người phụ&nbsp;trách kỹ thuật của cơ sở phẫu thuật động vật, khám bệnh, chẩn đoán bệnh, xét nghiệm bệnh động vật phải có bằng đại học&nbsp;trở lên chuyên ngành thú y, chăn nuôi thú y hoặc nuôi&nbsp;trồng thủy sản, bệnh học thủy sản đối với hành nghề thú y thủy sản.</span></p>\n\n<p style="margin-top:6.0pt;text-align:justify;text-indent:36.0pt;line-height:16.0pt;background:white;"><span style="color:black;">c.&nbsp;Người buôn bán thuốc thú y phải có bằng trung cấp trở&nbsp;lên chuyên ngành thú y, chăn nuôi thú y hoặc trung cấp nuôi trồng thủy sản, bệnh học thủy sản đối với hành nghề thú y thủy sản.</span></p>',
    'Điều kiện để hành nghề và cấp chứng chỉ hành nghề thú y đối với các loại hình: Tiêm phòng, chữa bệnh, phẫu thuật động vật; tư vấn các hoạt động liên quan đến lĩnh vực thú y; khám bệnh, chẩn đoán bệnh, xét nghiệm bệnh động vật; buôn bán thuốc thú y?',
    'Trường hợp đã có chứng thư số ký duyệt nghiệp vụ dịch vụ công liên quan đến chứng thư số, nếu người sử dụng muốn đăng ký để ký duyệtnghiệp vụ dịch vụ công khác như Mã ngân hàng, Thanh toán liên ngân hàng (TTLNH), Thi đua – Khen thưởng, Thanh toán thì cần phải làm thủ tục gì?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Dataset: dim_768
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.5329
cosine_accuracy@3	0.6989
cosine_accuracy@5	0.7603
cosine_accuracy@10	0.8139
cosine_precision@1	0.5329
cosine_precision@3	0.233
cosine_precision@5	0.1521
cosine_precision@10	0.0814
cosine_recall@1	0.5329
cosine_recall@3	0.6989
cosine_recall@5	0.7603
cosine_recall@10	0.8139
cosine_ndcg@10	0.6736
cosine_mrr@10	0.6285
cosine_map@100	0.6339

Information Retrieval

Dataset: dim_512
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.5364
cosine_accuracy@3	0.6997
cosine_accuracy@5	0.7621
cosine_accuracy@10	0.8086
cosine_precision@1	0.5364
cosine_precision@3	0.2332
cosine_precision@5	0.1524
cosine_precision@10	0.0809
cosine_recall@1	0.5364
cosine_recall@3	0.6997
cosine_recall@5	0.7621
cosine_recall@10	0.8086
cosine_ndcg@10	0.6733
cosine_mrr@10	0.6298
cosine_map@100	0.6356

Information Retrieval

Dataset: dim_256
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.5312
cosine_accuracy@3	0.6892
cosine_accuracy@5	0.755
cosine_accuracy@10	0.8068
cosine_precision@1	0.5312
cosine_precision@3	0.2297
cosine_precision@5	0.151
cosine_precision@10	0.0807
cosine_recall@1	0.5312
cosine_recall@3	0.6892
cosine_recall@5	0.755
cosine_recall@10	0.8068
cosine_ndcg@10	0.6689
cosine_mrr@10	0.6247
cosine_map@100	0.6307

Information Retrieval

Dataset: dim_128
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.5075
cosine_accuracy@3	0.6681
cosine_accuracy@5	0.734
cosine_accuracy@10	0.7998
cosine_precision@1	0.5075
cosine_precision@3	0.2227
cosine_precision@5	0.1468
cosine_precision@10	0.08
cosine_recall@1	0.5075
cosine_recall@3	0.6681
cosine_recall@5	0.734
cosine_recall@10	0.7998
cosine_ndcg@10	0.652
cosine_mrr@10	0.6049
cosine_map@100	0.6107

Information Retrieval

Dataset: dim_64
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.4715
cosine_accuracy@3	0.6348
cosine_accuracy@5	0.6918
cosine_accuracy@10	0.7638
cosine_precision@1	0.4715
cosine_precision@3	0.2116
cosine_precision@5	0.1384
cosine_precision@10	0.0764
cosine_recall@1	0.4715
cosine_recall@3	0.6348
cosine_recall@5	0.6918
cosine_recall@10	0.7638
cosine_ndcg@10	0.6149
cosine_mrr@10	0.5676
cosine_map@100	0.5737

Training Details

Training Dataset

Unnamed Dataset

Size: 10,248 training samples
Columns: positive and anchor
Approximate statistics based on the first 1000 samples:
positive anchor
type string string
details
min: 4 tokens
mean: 150.46 tokens
max: 256 tokens

min: 6 tokens
mean: 37.63 tokens
max: 210 tokens

	positive	anchor
type	string	string
details	min: 4 tokens mean: 150.46 tokens max: 256 tokens	min: 6 tokens mean: 37.63 tokens max: 210 tokens

Samples:

positive	anchor
Theo quy định tại Điều 7, Nghị định số 15/2018/NĐ-CP của Chính phủ về hướng dẫn Luật ATTP. Đối với sản phẩm sản xuất trong nước Hồ sơ đăng ký bản công bố sản phẩm gồm:a) Bản công bố sản phẩm được quy định tại Mẫu số 02 Phụ lục I ban hành kèm theo Nghị định số 15/2018/NĐ-CP của Chính phủ;b) Phiếu kết quả kiểm nghiệm an toàn thực phẩm của sản phẩm trong thời hạn 12 tháng tính đến ngày nộp hồ sơ được cấp bởi phòng kiểm nghiệm được chỉ định hoặc phòng kiểm nghiệm được công nhận phù hợp ISO 17025 gồm các chỉ tiêu an toàn do Bộ Y tế ban hành theo nguyên tắc quản lý rủi ro phù hợp với quy định của quốc tế hoặc các chỉ tiêu an toàn theo các quy chuẩn, tiêu chuẩn tương ứng do tổ chức, cá nhân công bố trong trường hợp chưa có quy định của Bộ Y tế (bản chính hoặc bản sao chứng thực);c) Bằng chứng khoa học chứng minh công dụng của sản phẩm hoặc của thành phần tạo nên công dụng đã công bố (bản chính hoặc bản sao có xác nhận của tổ chức, cá nhân). Khi sử dụng bằng chứng khoa học về công dụng thành phần của sản phẩm để làm công dụng cho sản phẩm thì liều sử dụng hàng ngày của sản phẩm tối thiểu phải lớn hơn hoặc bằng 15% lượng sử dụng thành phần đó đã nêu trong tài liệu;d) Giấy chứng nhận cơ sở đủ điều kiện an toàn thực phẩm trong trường hợp cơ sở thuộc đối tượng phải cấp giấy chứng nhận cơ sở đủ điều kiện an toàn thực phẩm theo quy định (bản sao có xác nhận của tổ chức, cá nhân);đ) Giấy chứng nhận cơ sở đủ điều kiện an toàn thực phẩm đạt yêu cầu Thực hành sản xuất tốt (GMP) trong trường hợp sản phẩm sản xuất trong nước là thực phẩm bảo vệ sức khỏe áp dụng từ ngày 01 tháng 7 năm 2019 (bản sao có xác nhận của tổ chức, cá nhân).	`Hồ sơ công bố đối với nhóm thực phẩm bảo vệ sức khỏe sản xuất trong nước gồm những nội dung gì.`
Điểm ưu tiên về đối tượng, khu vực của thí sinh phải đúng quy chế của Bộ Giáo dục và Đào tạo, thống nhất và trùng khớp giữa hồ sơ sơ tuyển và hồ sơ xét tuyển. Khi phát hiện có sự sai sót về chế độ ưu tiên, thí sinh phải liên hệ với cơ quan đăng ký hồ sơ để điều chỉnh, cụ thể:- Về hồ sơ sơ tuyển: Thí sinh phải liên hệ với Ban Chỉ huy Quân sự huyện (trung đoàn hoặc tương đương) để được điều chỉnh, xác nhận và gửi về trường mình đăng ký.- Về hồ sơ xét tuyển: Thí sinh phải liên hệ với Sở Giáo dục và Đào tạo nơi thí sinh đăng ký dự Kỳ thi trung học phổ thông quốc gia để được điều chỉnh.	`Nếu sai sót về chế độ ưu tiên theo đối tượng hoặc chế độ ưu tiên theo khu vực trong quá trình kê khai hồ sơ sơ tuyển, xét tuyển thí sinh phải liên hệ ở đâu để được điều chỉnh?`
Theo quy định tại Nghị định số 88/2014/NĐ-CP, Tổng Giám đốc, thành viên Hội đồng xếp hạng tín nhiệm, chuyên viên phân tích phải có trình độ từ đại học trở lên thuộc chuyên ngành kinh tế, tài chính, ngân hàng, kế toán, kiểm toán, thống kê, quản trị kinh doanh hoặc chuyên ngành thuộc lĩnh vực kinh doanh của tổ chức được xếp hạng tín nhiệm. Theo đó, khi cung cấp hồ sơ về Tổng Giám đốc, thành viên Hội đồng xếp hạng tín nhiệm, chuyên viên phân tích, doanh nghiệp cần cung cấp bằng cấp đáp ứng điều kiện quy định tại Nghị định số 88/2014/NĐ-CP.	`Về hồ sơ của Tổng Giám đốc, thành viên Hội đồng xếp hạng tín nhiệm, chuyên viên phân tích, trường hợp đã cung cấp bằng đại học của người lao động đáp ứng chuyên ngành theo quy định tại Nghị định số 88/2014/NĐ-CP có cần cung cấp các bằng cấp khác như bằng thạc sĩ, tiến sĩ hay không?`

Loss: MatryoshkaLoss with these parameters:

{
    "loss": "MultipleNegativesRankingLoss",
    "matryoshka_dims": [
        768,
        512,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: epoch
per_device_train_batch_size: 32
per_device_eval_batch_size: 16
gradient_accumulation_steps: 32
learning_rate: 2e-05
num_train_epochs: 10
lr_scheduler_type: cosine
warmup_ratio: 0.1
fp16: True
tf32: False
load_best_model_at_end: True
optim: adamw_torch_fused
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: epoch
prediction_loss_only: True
per_device_train_batch_size: 32
per_device_eval_batch_size: 16
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 32
eval_accumulation_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 10
max_steps: -1
lr_scheduler_type: cosine
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: False
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	dim_128_cosine_map@100	dim_256_cosine_map@100	dim_512_cosine_map@100	dim_64_cosine_map@100	dim_768_cosine_map@100
0.9969	10	3.4117	0.5202	0.5352	0.5441	0.4739	0.5412
1.9938	20	1.8953	0.5655	0.5913	0.5970	0.5291	0.6007
2.9907	30	1.2229	0.5828	0.6072	0.6140	0.5454	0.6193
3.9875	40	0.81	0.5936	0.6202	0.6224	0.5576	0.6268
4.9844	50	0.594	0.6039	0.6246	0.6303	0.5656	0.6285
5.9813	60	0.4648	0.6056	0.6267	0.6346	0.5693	0.6313
6.9782	70	0.3797	0.6092	0.6292	0.6357	0.5724	0.6333
7.9751	80	0.3436	0.6101	0.6299	0.6360	0.5728	0.6339
8.9720	90	0.3227	0.6102	0.6306	0.6360	0.5746	0.6339
9.9688	100	0.3198	0.6107	0.6307	0.6356	0.5737	0.6339

The bold row denotes the saved checkpoint.

Framework Versions

Python: 3.10.13
Sentence Transformers: 3.0.1
Transformers: 4.41.2
PyTorch: 2.1.2
Accelerate: 0.29.3
Datasets: 2.19.1
Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning}, 
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

anhtuansh
/

vietnamese-bi-encoder-financial-matryoshka-2

vietnamese-bi-encoder Financial Matryoshka - 2

Model Details

Model Description

Model Sources

Full Model Architecture

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Information Retrieval

Information Retrieval

Information Retrieval

Information Retrieval

Information Retrieval

Training Details

Training Dataset

Unnamed Dataset

Training Hyperparameters

Non-Default Hyperparameters

All Hyperparameters

Training Logs

Framework Versions

Citation

BibTeX

Sentence Transformers

MatryoshkaLoss

MultipleNegativesRankingLoss

Finetuned from

Evaluation results

vietnamese-bi-encoder Financial Matryoshka - 2

Model Details

Model Description

Model Sources

Full Model Architecture

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Information Retrieval

Information Retrieval

Information Retrieval

Information Retrieval

Information Retrieval

Training Details

Training Dataset

Unnamed Dataset

Training Hyperparameters

Non-Default Hyperparameters

All Hyperparameters

Training Logs

Framework Versions

Citation

BibTeX

Sentence Transformers

MatryoshkaLoss

MultipleNegativesRankingLoss

Finetuned from bkai-foundation-models/vietnamese-bi-encoder

Evaluation results

Finetuned from