comet24082002/ft_bge_newLaw_MultipleNegativeRankingLoss_V1_5epochs

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("comet24082002/ft_bge_newLaw_MultipleNegativeRankingLoss_V1_5epochs")
# Run inference
sentences = [
    'Cơ quan có thẩm quyền giải quyết ly hôn theo quy định của pháp luật',
    '"Điều 39. Thẩm quyền của Tòa án theo lãnh thổ 1. Thẩm quyền giải quyết vụ án dân sự của Tòa án theo lãnh thổ được xác định như sau: a) Tòa án nơi bị đơn cư trú, làm việc, nếu bị đơn là cá nhân hoặc nơi bị đơn có trụ sở, nếu bị đơn là cơ quan, tổ chức có thẩm quyền giải quyết theo thủ tục sơ thẩm những tranh chấp về dân sự, hôn nhân và gia đình, kinh doanh, thương mại, lao động quy định tại các Điều 26, 28, 30 và 32 của Bộ luật này; b) Các đương sự có quyền tự thỏa thuận với nhau bằng văn bản yêu cầu Tòa án nơi cư trú, làm việc của nguyên đơn, nếu nguyên đơn là cá nhân hoặc nơi có trụ sở của nguyên đơn, nếu nguyên đơn là cơ quan, tổ chức giải quyết những tranh chấp về dân sự, hôn nhân và gia đình, kinh doanh, thương mại, lao động quy định tại các điều 26, 28, 30 và 32 của Bộ luật này; c) Đối tượng tranh chấp là bất động sản thì chỉ Tòa án nơi có bất động sản có thẩm quyền giải quyết. 2. Thẩm quyền giải quyết việc dân sự của Tòa án theo lãnh thổ được xác định như sau: a) Tòa án nơi người bị yêu cầu tuyên bố mất năng lực hành vi dân sự, bị hạn chế năng lực hành vi dân sự hoặc có khó khăn trong nhận thức, làm chủ hành vi cư trú, làm việc có thẩm quyền giải quyết yêu cầu tuyên bố một người mất năng lực hành vi dân sự, bị hạn chế năng lực hành vi dân sự hoặc có khó khăn trong nhận thức, làm chủ hành vi; b) Tòa án nơi người bị yêu cầu thông báo tìm kiếm vắng mặt tại nơi cư trú, bị yêu cầu tuyên bố mất tích hoặc là đã chết có nơi cư trú cuối cùng có thẩm quyền giải quyết yêu cầu thông báo tìm kiếm người vắng mặt tại nơi cư trú và quản lý tài sản của người đó, yêu cầu tuyên bố một người mất tích hoặc là đã chết; c) Tòa án nơi người yêu cầu hủy bỏ quyết định tuyên bố một người mất năng lực hành vi dân sự, bị hạn chế năng lực hành vi dân sự hoặc có khó khăn trong nhận thức, làm chủ hành vi cư trú, làm việc có thẩm quyền hủy bỏ quyết định tuyên bố một người mất năng lực hành vi dân sự, bị hạn chế năng lực hành vi dân sự hoặc có khó khăn trong nhận thức, làm chủ hành vi. Tòa án đã ra quyết định tuyên bố một người mất tích hoặc là đã chết có thẩm quyền giải quyết yêu cầu hủy bỏ quyết định tuyên bố một người mất tích hoặc là đã chết;"',
    '"Điều 14. Lấn, chiếm đất 1. Trường hợp lấn, chiếm đất chưa sử dụng tại khu vực nông thôn thì hình thức và mức xử phạt như sau: a) Phạt tiền từ 2.000.000 đồng đến 3.000.000 đồng đối với diện tích đất lấn, chiếm dưới 0,05 héc ta; b) Phạt tiền từ 3.000.000 đồng đến 5.000.000 đồng đối với diện tích đất lấn, chiếm từ 0,05 héc ta đến dưới 0,1 héc ta; c) Phạt tiền từ 5.000.000 đồng đến 15.000.000 đồng đối với diện tích đất lấn, chiếm từ 0,1 héc ta đến dưới 0,5 héc ta; d) Phạt tiền từ 15.000.000 đồng đến 30.000.000 đồng đối với diện tích đất lấn, chiếm từ 0,5 héc ta đến dưới 01 héc ta; đ) Phạt tiền từ 30.000.000 đồng đến 70.000.000 đồng đối với diện tích đất lấn, chiếm từ 01 héc ta trở lên. 2. Trường hợp lấn, chiếm đất nông nghiệp không phải là đất trồng lúa, đất rừng đặc dụng, đất rừng phòng hộ, đất rừng sản xuất tại khu vực nông thôn thì hình thức và mức xử phạt như sau: a) Phạt tiền từ 3.000.000 đồng đến 5.000.000 đồng đối với diện tích đất lấn, chiếm dưới 0,05 héc ta; b) Phạt tiền từ 5.000.000 đồng đến 10.000.000 đồng đối với diện tích đất lấn, chiếm từ 0,05 héc ta đến dưới 0,1 héc ta; c) Phạt tiền từ 10.000.000 đồng đến 30.000.000 đồng đối với diện tích đất lấn, chiếm từ 0,1 héc ta đến dưới 0,5 héc ta; d) Phạt tiền từ 30.000.000 đồng đến 50.000.000 đồng đối với diện tích đất lấn, chiếm từ 0,5 héc ta đến dưới 01 héc ta; đ) Phạt tiền từ 50.000.000 đồng đến 120.000.000 đồng đối với diện tích đất lấn, chiếm từ 01 héc ta trở lên. 3. Trường hợp lấn, chiếm đất nông nghiệp là đất trồng lúa, đất rừng đặc dụng, đất rừng phòng hộ, đất rừng sản xuất tại khu vực nông thôn, thì hình thức và mức xử phạt như sau: a) Phạt tiền từ 3.000.000 đồng đến 5.000.000 đồng đối với diện tích đất lấn, chiếm dưới 0,02 héc ta; b) Phạt tiền từ 5.000.000 đồng đến 7.000.000 đồng đối với diện tích đất lấn, chiếm từ 0,02 héc ta đến dưới 0,05 héc ta; c) Phạt tiền từ 7.000.000 đồng đến 15.000.000 đồng đối với diện tích đất lấn, chiếm từ 0,05 héc ta đến dưới 0,1 héc ta; d) Phạt tiền từ 15.000.000 đồng đến 40.000.000 đồng đối với diện tích đất lấn, chiếm từ 0,1 héc ta đến dưới 0,5 héc ta; đ) Phạt tiền từ 40.000.000 đồng đến 60.000.000 đồng đối với diện tích đất lấn, chiếm từ 0,5 héc ta đến dưới 01 héc ta; e) Phạt tiền từ 60.000.000 đồng đến 150.000.000 đồng đối với diện tích đất lấn, chiếm từ 01 héc ta trở lên. 4. Trường hợp lấn, chiếm đất phi nông nghiệp, trừ trường hợp quy định tại khoản 6 Điều này tại khu vực nông thôn thì hình thức và mức xử phạt như sau: a) Phạt tiền từ 10.000.000 đồng đến 20.000.000 đồng nếu diện tích đất lấn, chiếm dưới 0,05 héc ta; b) Phạt tiền từ 20.000.000 đồng đến 40.000.000 đồng nếu diện tích đất lấn, chiếm từ 0,05 héc ta đến dưới 0,1 héc ta; c) Phạt tiền từ 40.000.000 đồng đến 100.000.000 đồng nếu diện tích đất lấn, chiếm từ 0,1 héc ta đến dưới 0,5 héc ta; d) Phạt tiền từ 100.000.000 đồng đến 200.000.000 đồng nếu diện tích đất lấn, chiếm từ 0,5 héc ta đến dưới 01 héc ta; đ) Phạt tiền từ 200.000.000 đồng đến 500.000.000 đồng nếu diện tích đất lấn, chiếm từ 01 héc ta trở lên. 5. Trường hợp lấn, chiếm đất chưa sử dụng, đất nông nghiệp, đất phi nông nghiệp (trừ trường hợp quy định tại khoản 6 Điều này) tại khu vực đô thị thì mức xử phạt bằng 02 lần mức xử phạt đối với loại đất tương ứng quy định tại các khoản 1, 2, 3 và 4 Điều này và mức phạt tối đa không quá 500.000.000 đồng đối với cá nhân, không quá 1.000.000.000 đồng đối với tổ chức. 6. Trường hợp lấn, chiếm đất thuộc hành lang bảo vệ an toàn công trình và đất công trình có hành lang bảo vệ, đất trụ sở làm việc và cơ sở hoạt động sự nghiệp của cơ quan, tổ chức theo quy định của pháp luật về quản lý, sử dụng tài sản nhà nước thì hình thức và mức xử phạt thực hiện theo quy định của pháp luật về xử phạt vi phạm hành chính trong lĩnh vực về hoạt động đầu tư xây dựng; khai thác, chế biến, kinh doanh khoáng sản làm vật liệu xây dựng, sản xuất, kinh doanh vật liệu xây dựng; quản lý công trình hạ tầng kỹ thuật; kinh doanh bất động sản, phát triển nhà ở, quản lý sử dụng nhà và công sở; trong lĩnh vực về giao thông đường bộ và đường sắt; trong lĩnh vực về văn hóa, thể thao, du lịch và quảng cáo; trong lĩnh vực về khai thác và bảo vệ công trình thủy lợi; đê điều; phòng, chống lụt, bão; trong lĩnh vực quản lý, sử dụng tài sản nhà nước và các lĩnh vực chuyên ngành khác. 7. Biện pháp khắc phục hậu quả: a) Buộc khôi phục lại tình trạng ban đầu của đất trước khi vi phạm đối với các hành vi vi phạm tại các khoản 1, 2, 3, 4 và khoản 5 của Điều này và buộc trả lại đất đã lấn, chiếm; trừ trường hợp trường hợp quy định tại điểm b và điểm c khoản này; b) Buộc đăng ký đất đai theo quy định đối với trường hợp có đủ điều kiện được công nhận quyền sử dụng đất và các trường hợp người đang sử dụng đất vi phạm được tạm thời sử dụng cho đến khi Nhà nước thu hồi đất theo quy định tại Điều 22 Nghị định số 43/2014/NĐ-CP; c) Buộc thực hiện tiếp thủ tục giao đất, thuê đất theo quy định đối với trường hợp sử dụng đất khi chưa thực hiện xong thủ tục giao đất, thuê đất; d) Buộc nộp lại số lợi bất hợp pháp có được do thực hiện hành vi vi phạm quy định tại các khoản 1, 2, 3, 4 và 5 Điều này; số lợi bất hợp pháp được xác định theo quy định tại khoản 2 Điều 7 của Nghị định này."',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 8,988 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 8 tokens mean: 24.3 tokens max: 45 tokens	min: 18 tokens mean: 272.63 tokens max: 512 tokens

• Samples:

  anchor	positive
  Thực hiện phản ứng trong phương pháp HI nhằm chẩn đoán bệnh viêm phế quản truyền nhiễm ở gà như thế nào?	Cách tiến hành ... 5.2. Chẩn đoán trong phòng thí nghiệm ... 5.2.3.2. Phương pháp HI Dùng đĩa ngưng kết 96 giếng (xem 4.3) để làm phản ứng. a) Cách tiến hành (Xem B.3 phụ lục B) b) Đọc kết quả Phản ứng dương tính: có sự ức chế ngưng kết hồng cầu ở hiệu giá pha loãng ≥ 1/16. Phản ứng âm tính: không có sự ức chế ngưng kết hoặc có sự ức chế ngưng kết ở hiệu giá pha loãng < 1/16. CHÚ THÍCH: Phương pháp này không đòi hỏi nhiều thiết bị máy móc, thực hiện đơn giản. Tuy nhiên, phương pháp này không phân biệt được kháng thể IB do tiêm phòng vắc xin hay do nhiễm thực địa. ...
  Chứng từ kế toán lập theo bộ có nhiều liên thì phải lập chứng từ như thế nào để phù hợp với quy định?	Lập chứng từ kế toán ... 3. Yêu cầu đối với việc lập chứng từ kế toán a) Trên chứng từ kế toán phải ghi đầy đủ, rõ ràng, chính xác các nội dung theo quy định; Chữ viết trên chứng từ phải cùng một nét chữ, ghi rõ ràng, thể hiện đầy đủ, đúng nội dung phản ánh, không được tẩy xoá; khi viết phải dùng cùng một màu mực, loại mực không phai; không viết bằng mực đỏ. b) Về ghi số tiền bằng số và bằng chữ trên chứng từ: Số tiền viết bằng chữ phải khớp đúng với số tiền viết bằng số; tổng số tiền phải khớp đúng với tổng các số tiền chi tiết; chữ cái đầu tiên phải viết bằng chữ in hoa, những chữ còn lại không được viết bằng chữ in hoa; phải viết sát đầu dòng, chữ viết và chữ số phải viết liên tục không để cách quãng, ghi hết dòng mới xuống dòng khác, không được viết tắt, không viết chèn dòng, không viết đè lên chữ in sẵn; chỗ trống phải gạch chéo để không thể sửa chữa, thêm số hoặc thêm chữ. Chứng từ bị tẩy xoá, sửa chữa đều không có giá trị thanh toán và ghi sổ kế toán. Khi viết sai vào mẫu chứng từ in sẵn thì phải hủy bỏ bằng cách gạch chéo chứng từ viết sai. c) Yếu tố ngày, tháng, năm của chứng từ phải viết bằng số. d) Chứng từ lập theo bộ có nhiều liên phải được lập một lần cho tất cả các liên theo cùng một nội dung bằng máy vi tính, máy chữ hoặc viết lồng bằng giấy than. Trường hợp đặc biệt phải lập nhiều liên nhưng không thể viết một lần tất cả các liên chứng từ thì có thể viết hai lần nhưng phải đảm bảo thống nhất mọi nội dung trên tất cả các liên chứng từ. đ) Đối với chứng từ chi, trường hợp đơn vị rút nhiều mục, không lập được trên một trang giấy thì đơn vị có thể viết vào trang sau (mặt sau) hoặc lập nhiều bộ chứng từ (lưu ý 1 chứng từ chỉ được lập tối đa trên 2 trang giấy). Trường hợp chứng từ được viết trên 2 trang giấy thì tại trang sau, đơn vị phải viết cách lề trên khoảng 1/4 trang giấy. Trường hợp chứng từ chi được lập trên dịch vụ công, không giới hạn số lượng trang trên một chứng từ chi. e) Cán bộ KBNN không được nhận các chứng từ do đơn vị giao dịch lập không đúng quy định, không hợp pháp, hợp lệ; đồng thời phải hướng dẫn đơn vị giao dịch lập lại bộ chứng từ khác theo đúng quy định; cán bộ KBNN không được ghi các yếu tố thuộc trách nhiệm ghi của đơn vị giao dịch trên chứng từ; đơn vị giao dịch không được ghi các yếu tố thuộc trách nhiệm ghi chép của KBNN trên chứng từ. Cán bộ KBNN và đơn vị giao dịch không được ghi các yếu tố không thuộc trách nhiệm ghi của mình trên chứng từ.
  Cơ sở giáo dục nghề nghiệp tư thục hoạt động không vì lợi nhuận có thể được hưởng những chính sách khuyến khích nào?	Chính sách khuyến khích đối với cơ sở giáo dục nghề nghiệp tư thục, cơ sở giáo dục nghề nghiệp có vốn đầu tư nước ngoài hoạt động không vì lợi nhuận 1. Cơ sở giáo dục nghề nghiệp tư thục, cơ sở giáo dục nghề nghiệp có vốn đầu tư nước ngoài hoạt động không vì lợi nhuận được hưởng các chính sách theo quy định tại các điểm a, b, c, d và g khoản 1 Điều 26 của Luật giáo dục nghề nghiệp và các chính sách sau: a) Ưu tiên cho thuê đất, cơ sở vật chất; b) Ưu tiên tiếp nhận các dự án đầu tư, đặt hàng để thực hiện nhiệm vụ đào tạo nghề nghiệp, nghiên cứu khoa học và chuyển giao công nghệ; c) Được hỗ trợ kỹ thuật để tiếp nhận học sinh phổ thông dân tộc nội trú khi ra trường vào học nghề và phát triển đào tạo các ngành, nghề đáp ứng nhu cầu học tập của người lao động đi làm việc ở nước ngoài. 2. Trường hợp cơ sở giáo dục nghề nghiệp tư thục, cơ sở giáo dục nghề nghiệp có vốn đầu tư nước ngoài đã cam kết hoạt động không vì lợi nhuận nhưng không thực hiện hoặc thực hiện không đúng với những quy định tại khoản 1 Điều 37 Nghị định này thì bị xử lý như sau: a) Thu hồi quyết định thành lập, công nhận hoạt động không vì lợi nhuận; b) Tước quyền thụ hưởng các chính sách ưu tiên đối với cơ sở giáo dục nghề nghiệp tư thục và cơ sở giáo dục nghề nghiệp có vốn đầu tư nước ngoài hoạt động không vì lợi nhuận; c) Phải hoàn trả các khoản hỗ trợ tài chính của Nhà nước gồm các khoản ưu đãi về tín dụng, ưu đãi từ các chương trình hỗ trợ kỹ thuật, dự án trong và ngoài nước; d) Bị truy thu các khoản thuế và bị xử phạt vi phạm pháp luật về thuế theo quy định.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 4
• learning_rate: 2e-05
• num_train_epochs: 5
• warmup_ratio: 0.1

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0223	50	0.0499
0.0445	100	0.0253
0.0668	150	0.0325
0.0890	200	0.0247
0.1113	250	0.0307
0.1335	300	0.0184
0.1558	350	0.0065
0.1780	400	0.0109
0.2003	450	0.0072
0.2225	500	0.0085
0.2448	550	0.0035
0.2670	600	0.0195
0.2893	650	0.0044
0.3115	700	0.0202
0.3338	750	0.0216
0.3560	800	0.0238
0.3783	850	0.0088
0.4005	900	0.0388
0.4228	950	0.0049
0.4450	1000	0.0026
0.4673	1050	0.0211
0.4895	1100	0.0413
0.5118	1150	0.0234
0.5340	1200	0.0539
0.5563	1250	0.0275
0.5785	1300	0.0236
0.6008	1350	0.0034
0.6231	1400	0.002
0.6453	1450	0.0236
0.6676	1500	0.007
0.6898	1550	0.0192
0.7121	1600	0.0421
0.7343	1650	0.0219
0.7566	1700	0.016
0.7788	1750	0.0118
0.8011	1800	0.0213
0.8233	1850	0.0593
0.8456	1900	0.0066
0.8678	1950	0.0021
0.8901	2000	0.0087
0.9123	2050	0.0301
0.9346	2100	0.0234
0.9568	2150	0.0255
0.9791	2200	0.0204
1.0013	2250	0.0159
1.0236	2300	0.0066
1.0458	2350	0.0134
1.0681	2400	0.0064
1.0903	2450	0.0072
1.1126	2500	0.0039
1.1348	2550	0.028
1.1571	2600	0.0037
1.1794	2650	0.0096
1.2016	2700	0.0054
1.2239	2750	0.0132
1.2461	2800	0.0131
1.2684	2850	0.0029
1.2906	2900	0.0076
1.3129	2950	0.0051
1.3351	3000	0.0193
1.3574	3050	0.0198
1.3796	3100	0.009
1.4019	3150	0.0026
1.4241	3200	0.0049
1.4464	3250	0.0022
1.4686	3300	0.0139
1.4909	3350	0.0342
1.5131	3400	0.0006
1.5354	3450	0.0035
1.5576	3500	0.0016
1.5799	3550	0.0177
1.6021	3600	0.0191
1.6244	3650	0.0016
1.6466	3700	0.0032
1.6689	3750	0.0314
1.6911	3800	0.0059
1.7134	3850	0.0291
1.7356	3900	0.0016
1.7579	3950	0.0022
1.7802	4000	0.0171
1.8024	4050	0.0349
1.8247	4100	0.0057
1.8469	4150	0.0226
1.8692	4200	0.0017
1.8914	4250	0.0174
1.9137	4300	0.0229
1.9359	4350	0.0084
1.9582	4400	0.0011
1.9804	4450	0.0073
2.0027	4500	0.012
2.0249	4550	0.0052
2.0472	4600	0.0054
2.0694	4650	0.0014
2.0917	4700	0.0009
2.1139	4750	0.0058
2.1362	4800	0.0016
2.1584	4850	0.0017
2.1807	4900	0.0009
2.2029	4950	0.0047
2.2252	5000	0.0104
2.2474	5050	0.0039
2.2697	5100	0.0011
2.2919	5150	0.0064
2.3142	5200	0.0017
2.3364	5250	0.0003
2.3587	5300	0.0019
2.3810	5350	0.005
2.4032	5400	0.0023
2.4255	5450	0.0034
2.4477	5500	0.0051
2.4700	5550	0.0022
2.4922	5600	0.0137
2.5145	5650	0.0017
2.5367	5700	0.0048
2.5590	5750	0.001
2.5812	5800	0.0164
2.6035	5850	0.0051
2.6257	5900	0.0125
2.6480	5950	0.001
2.6702	6000	0.0006
2.6925	6050	0.0006
2.7147	6100	0.0007
2.7370	6150	0.001
2.7592	6200	0.0004
2.7815	6250	0.0018
2.8037	6300	0.0002
2.8260	6350	0.0012
2.8482	6400	0.0014
2.8705	6450	0.0076
2.8927	6500	0.0187
2.9150	6550	0.0111
2.9372	6600	0.0024
2.9595	6650	0.0071
2.9818	6700	0.0022
3.0040	6750	0.0013
3.0263	6800	0.0008
3.0485	6850	0.0008
3.0708	6900	0.0007
3.0930	6950	0.0039
3.1153	7000	0.0424
3.1375	7050	0.0047
3.1598	7100	0.0005
3.1820	7150	0.0051
3.2043	7200	0.0005
3.2265	7250	0.0007
3.2488	7300	0.001
3.2710	7350	0.0003
3.2933	7400	0.0087
3.3155	7450	0.0035
3.3378	7500	0.0004
3.3600	7550	0.0005
3.3823	7600	0.0041
3.4045	7650	0.0039
3.4268	7700	0.0042
3.4490	7750	0.0065
3.4713	7800	0.0046
3.4935	7850	0.0009
3.5158	7900	0.0131
3.5381	7950	0.001
3.5603	8000	0.0005
3.5826	8050	0.0105
3.6048	8100	0.0337
3.6271	8150	0.0071
3.6493	8200	0.0065
3.6716	8250	0.0024
3.6938	8300	0.0042
3.7161	8350	0.0024
3.7383	8400	0.0025
3.7606	8450	0.0021
3.7828	8500	0.003
3.8051	8550	0.014
3.8273	8600	0.0014
3.8496	8650	0.0028
3.8718	8700	0.0073
3.8941	8750	0.0094
3.9163	8800	0.0083
3.9386	8850	0.0015
3.9608	8900	0.0005
3.9831	8950	0.0043
4.0053	9000	0.0014
4.0276	9050	0.0004
4.0498	9100	0.0001
4.0721	9150	0.0003
4.0943	9200	0.0004
4.1166	9250	0.0001
4.1389	9300	0.0022
4.1611	9350	0.0008
4.1834	9400	0.0008
4.2056	9450	0.0009
4.2279	9500	0.0028
4.2501	9550	0.0041
4.2724	9600	0.0136
4.2946	9650	0.0008
4.3169	9700	0.0003
4.3391	9750	0.0005
4.3614	9800	0.0058
4.3836	9850	0.0009
4.4059	9900	0.0001
4.4281	9950	0.0002
4.4504	10000	0.0041
4.4726	10050	0.0142
4.4949	10100	0.0002
4.5171	10150	0.0004
4.5394	10200	0.0037
4.5616	10250	0.0007
4.5839	10300	0.0033
4.6061	10350	0.0139
4.6284	10400	0.0002
4.6506	10450	0.0145
4.6729	10500	0.0003
4.6951	10550	0.0003
4.7174	10600	0.0021
4.7397	10650	0.0009
4.7619	10700	0.0003
4.7842	10750	0.0058
4.8064	10800	0.0006
4.8287	10850	0.0017
4.8509	10900	0.0014
4.8732	10950	0.0005
4.8954	11000	0.0095
4.9177	11050	0.006
4.9399	11100	0.0022
4.9622	11150	0.0126
4.9844	11200	0.001

Framework Versions

• Python: 3.10.13
• Sentence Transformers: 3.0.1
• Transformers: 4.39.3
• PyTorch: 2.1.2
• Accelerate: 0.29.3
• Datasets: 2.18.0
• Tokenizers: 0.15.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}