roberta-large-ner-ghtk-gam-data-standard-3090-30Aug-1

This model is a fine-tuned version of FacebookAI/xlm-roberta-large on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.4064
• Hiều cao khách hàng: {'precision': 0.9032258064516129, 'recall': 0.9655172413793104, 'f1': 0.9333333333333333, 'number': 29}
• Hiều dài sản phẩm: {'precision': 0.7272727272727273, 'recall': 0.8, 'f1': 0.761904761904762, 'number': 10}
• Hiều rộng sản phẩm: {'precision': 0.2222222222222222, 'recall': 0.2857142857142857, 'f1': 0.25, 'number': 7}
• Hong cách mua sắm: {'precision': 0.6521739130434783, 'recall': 0.6, 'f1': 0.6250000000000001, 'number': 25}
• Hong cách nhà cửa: {'precision': 0.5, 'recall': 0.5454545454545454, 'f1': 0.5217391304347826, 'number': 22}
• Hong cách thời trang: {'precision': 0.5714285714285714, 'recall': 0.7058823529411765, 'f1': 0.6315789473684211, 'number': 17}
• Hất tóc: {'precision': 0.6666666666666666, 'recall': 0.7333333333333333, 'f1': 0.6984126984126984, 'number': 30}
• Hối lượng sản phẩm: {'precision': 0.7647058823529411, 'recall': 0.7647058823529411, 'f1': 0.7647058823529412, 'number': 17}
• Hời gian nhận hàng: {'precision': 0.6538461538461539, 'recall': 0.5483870967741935, 'f1': 0.5964912280701755, 'number': 31}
• Iá sản phẩm: {'precision': 1.0, 'recall': 0.9310344827586207, 'f1': 0.9642857142857143, 'number': 29}
• Oại da: {'precision': 0.8275862068965517, 'recall': 0.9230769230769231, 'f1': 0.8727272727272727, 'number': 26}
• Ung hoàng đạo: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}
• Ung mệnh: {'precision': 0.76, 'recall': 0.8260869565217391, 'f1': 0.7916666666666667, 'number': 23}
• Àu da: {'precision': 0.6857142857142857, 'recall': 0.5853658536585366, 'f1': 0.6315789473684211, 'number': 41}
• Àu sắc sản phẩm: {'precision': 0.7254901960784313, 'recall': 0.8043478260869565, 'f1': 0.7628865979381443, 'number': 46}
• Áng khuôn mặt: {'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 20}
• Áng người: {'precision': 0.85, 'recall': 0.9444444444444444, 'f1': 0.8947368421052632, 'number': 18}
• Ân nặng khách hàng: {'precision': 0.9047619047619048, 'recall': 0.9047619047619048, 'f1': 0.9047619047619048, 'number': 42}
• Ã sản phẩm: {'precision': 0.5384615384615384, 'recall': 0.6363636363636364, 'f1': 0.5833333333333334, 'number': 22}
• Ơn vị sản phẩm: {'precision': 0.6785714285714286, 'recall': 0.75, 'f1': 0.7124999999999999, 'number': 76}
• Ản phẩm: {'precision': 0.8326429163214581, 'recall': 0.8933333333333333, 'f1': 0.8619210977701544, 'number': 1125}
• Ật độ tóc: {'precision': 0.9166666666666666, 'recall': 0.9565217391304348, 'f1': 0.9361702127659574, 'number': 23}
• Ặc điểm khác của da: {'precision': 0.6808510638297872, 'recall': 0.8, 'f1': 0.7356321839080461, 'number': 40}
• Ịa chỉ nhận hàng: {'precision': 0.5102040816326531, 'recall': 0.5681818181818182, 'f1': 0.5376344086021506, 'number': 44}
• Ố lượng sản phẩm: {'precision': 0.7758620689655172, 'recall': 0.8108108108108109, 'f1': 0.7929515418502202, 'number': 111}
• Ố điện thoại nhận hàng: {'precision': 0.9221556886227545, 'recall': 0.9935483870967742, 'f1': 0.9565217391304348, 'number': 155}
• Ố đo 3 vòng: {'precision': 0.9813084112149533, 'recall': 0.9545454545454546, 'f1': 0.967741935483871, 'number': 110}
• Ộ dài tóc: {'precision': 0.6538461538461539, 'recall': 0.85, 'f1': 0.7391304347826088, 'number': 20}
• Ộ tuổi khách hàng: {'precision': 0.8888888888888888, 'recall': 0.8888888888888888, 'f1': 0.8888888888888888, 'number': 18}
• Overall Precision: 0.8086
• Overall Recall: 0.8601
• Overall F1: 0.8336
• Overall Accuracy: 0.9213

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2.5e-05
• train_batch_size: 16
• eval_batch_size: 16
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Hiều cao khách hàng	Hiều dài sản phẩm	Hiều rộng sản phẩm	Hong cách mua sắm	Hong cách nhà cửa	Hong cách thời trang	Hất tóc	Hối lượng sản phẩm	Hời gian nhận hàng	Iá sản phẩm	Oại da	Ung hoàng đạo	Ung mệnh	Àu da	Àu sắc sản phẩm	Áng khuôn mặt	Áng người	Ân nặng khách hàng	à sản phẩm	Ơn vị sản phẩm	Ản phẩm	Ật độ tóc	Ặc điểm khác của da	Ịa chỉ nhận hàng	Ố lượng sản phẩm	Ố điện thoại nhận hàng	Ố đo 3 vòng	Ộ dài tóc	Ộ tuổi khách hàng	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
No log	1.0	186	0.3293	{'precision': 0.8125, 'recall': 0.896551724137931, 'f1': 0.8524590163934426, 'number': 29}	{'precision': 0.6666666666666666, 'recall': 0.2, 'f1': 0.30769230769230765, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.631578947368421, 'recall': 0.48, 'f1': 0.5454545454545454, 'number': 25}	{'precision': 0.75, 'recall': 0.5454545454545454, 'f1': 0.631578947368421, 'number': 22}	{'precision': 0.32142857142857145, 'recall': 0.5294117647058824, 'f1': 0.39999999999999997, 'number': 17}	{'precision': 0.4358974358974359, 'recall': 0.5666666666666667, 'f1': 0.4927536231884058, 'number': 30}	{'precision': 0.6190476190476191, 'recall': 0.7647058823529411, 'f1': 0.6842105263157895, 'number': 17}	{'precision': 0.40625, 'recall': 0.41935483870967744, 'f1': 0.4126984126984127, 'number': 31}	{'precision': 0.5526315789473685, 'recall': 0.7241379310344828, 'f1': 0.6268656716417911, 'number': 29}	{'precision': 0.6785714285714286, 'recall': 0.7307692307692307, 'f1': 0.7037037037037038, 'number': 26}	{'precision': 0.8888888888888888, 'recall': 0.8888888888888888, 'f1': 0.8888888888888888, 'number': 18}	{'precision': 0.9565217391304348, 'recall': 0.9565217391304348, 'f1': 0.9565217391304348, 'number': 23}	{'precision': 0.47058823529411764, 'recall': 0.3902439024390244, 'f1': 0.4266666666666667, 'number': 41}	{'precision': 0.6333333333333333, 'recall': 0.8260869565217391, 'f1': 0.7169811320754716, 'number': 46}	{'precision': 0.8571428571428571, 'recall': 0.9, 'f1': 0.8780487804878048, 'number': 20}	{'precision': 0.85, 'recall': 0.9444444444444444, 'f1': 0.8947368421052632, 'number': 18}	{'precision': 0.8717948717948718, 'recall': 0.8095238095238095, 'f1': 0.8395061728395062, 'number': 42}	{'precision': 0.3333333333333333, 'recall': 0.22727272727272727, 'f1': 0.27027027027027023, 'number': 22}	{'precision': 0.6511627906976745, 'recall': 0.7368421052631579, 'f1': 0.6913580246913581, 'number': 76}	{'precision': 0.8556701030927835, 'recall': 0.7377777777777778, 'f1': 0.79236276849642, 'number': 1125}	{'precision': 0.8235294117647058, 'recall': 0.6086956521739131, 'f1': 0.7, 'number': 23}	{'precision': 0.5217391304347826, 'recall': 0.6, 'f1': 0.5581395348837209, 'number': 40}	{'precision': 0.1590909090909091, 'recall': 0.1590909090909091, 'f1': 0.1590909090909091, 'number': 44}	{'precision': 0.8314606741573034, 'recall': 0.6666666666666666, 'f1': 0.74, 'number': 111}	{'precision': 0.9261744966442953, 'recall': 0.8903225806451613, 'f1': 0.9078947368421052, 'number': 155}	{'precision': 0.9029126213592233, 'recall': 0.8454545454545455, 'f1': 0.8732394366197184, 'number': 110}	{'precision': 0.6666666666666666, 'recall': 0.6, 'f1': 0.631578947368421, 'number': 20}	{'precision': 0.8888888888888888, 'recall': 0.8888888888888888, 'f1': 0.8888888888888888, 'number': 18}	0.7765	0.7171	0.7456	0.8841
No log	2.0	372	0.3137	{'precision': 0.8484848484848485, 'recall': 0.9655172413793104, 'f1': 0.9032258064516129, 'number': 29}	{'precision': 0.8, 'recall': 0.4, 'f1': 0.5333333333333333, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.6363636363636364, 'recall': 0.56, 'f1': 0.5957446808510639, 'number': 25}	{'precision': 0.65, 'recall': 0.5909090909090909, 'f1': 0.6190476190476191, 'number': 22}	{'precision': 0.3076923076923077, 'recall': 0.47058823529411764, 'f1': 0.372093023255814, 'number': 17}	{'precision': 0.68, 'recall': 0.5666666666666667, 'f1': 0.6181818181818183, 'number': 30}	{'precision': 0.625, 'recall': 0.8823529411764706, 'f1': 0.7317073170731708, 'number': 17}	{'precision': 0.4375, 'recall': 0.45161290322580644, 'f1': 0.4444444444444444, 'number': 31}	{'precision': 1.0, 'recall': 0.5862068965517241, 'f1': 0.7391304347826086, 'number': 29}	{'precision': 0.5, 'recall': 0.46153846153846156, 'f1': 0.48000000000000004, 'number': 26}	{'precision': 0.9444444444444444, 'recall': 0.9444444444444444, 'f1': 0.9444444444444444, 'number': 18}	{'precision': 0.9166666666666666, 'recall': 0.9565217391304348, 'f1': 0.9361702127659574, 'number': 23}	{'precision': 0.6764705882352942, 'recall': 0.5609756097560976, 'f1': 0.6133333333333334, 'number': 41}	{'precision': 0.7058823529411765, 'recall': 0.782608695652174, 'f1': 0.7422680412371134, 'number': 46}	{'precision': 0.8636363636363636, 'recall': 0.95, 'f1': 0.9047619047619048, 'number': 20}	{'precision': 0.6666666666666666, 'recall': 0.8888888888888888, 'f1': 0.761904761904762, 'number': 18}	{'precision': 0.9473684210526315, 'recall': 0.8571428571428571, 'f1': 0.9, 'number': 42}	{'precision': 0.46153846153846156, 'recall': 0.5454545454545454, 'f1': 0.4999999999999999, 'number': 22}	{'precision': 0.5700934579439252, 'recall': 0.8026315789473685, 'f1': 0.6666666666666666, 'number': 76}	{'precision': 0.8009441384736428, 'recall': 0.9048888888888889, 'f1': 0.8497495826377295, 'number': 1125}	{'precision': 0.7619047619047619, 'recall': 0.6956521739130435, 'f1': 0.7272727272727272, 'number': 23}	{'precision': 0.75, 'recall': 0.6, 'f1': 0.6666666666666665, 'number': 40}	{'precision': 0.18, 'recall': 0.20454545454545456, 'f1': 0.1914893617021277, 'number': 44}	{'precision': 0.6298701298701299, 'recall': 0.8738738738738738, 'f1': 0.7320754716981132, 'number': 111}	{'precision': 0.9703703703703703, 'recall': 0.8451612903225807, 'f1': 0.9034482758620689, 'number': 155}	{'precision': 0.9444444444444444, 'recall': 0.9272727272727272, 'f1': 0.9357798165137615, 'number': 110}	{'precision': 0.6956521739130435, 'recall': 0.8, 'f1': 0.7441860465116279, 'number': 20}	{'precision': 0.8888888888888888, 'recall': 0.8888888888888888, 'f1': 0.8888888888888888, 'number': 18}	0.7605	0.8260	0.7919	0.8986
0.4753	3.0	558	0.2857	{'precision': 0.9333333333333333, 'recall': 0.9655172413793104, 'f1': 0.9491525423728815, 'number': 29}	{'precision': 0.6666666666666666, 'recall': 0.8, 'f1': 0.7272727272727272, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.7083333333333334, 'recall': 0.68, 'f1': 0.6938775510204083, 'number': 25}	{'precision': 0.8, 'recall': 0.5454545454545454, 'f1': 0.6486486486486486, 'number': 22}	{'precision': 0.2903225806451613, 'recall': 0.5294117647058824, 'f1': 0.375, 'number': 17}	{'precision': 0.6428571428571429, 'recall': 0.6, 'f1': 0.6206896551724138, 'number': 30}	{'precision': 0.7777777777777778, 'recall': 0.8235294117647058, 'f1': 0.7999999999999999, 'number': 17}	{'precision': 0.42857142857142855, 'recall': 0.2903225806451613, 'f1': 0.34615384615384615, 'number': 31}	{'precision': 0.9523809523809523, 'recall': 0.6896551724137931, 'f1': 0.7999999999999999, 'number': 29}	{'precision': 0.8518518518518519, 'recall': 0.8846153846153846, 'f1': 0.8679245283018868, 'number': 26}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 0.88, 'recall': 0.9565217391304348, 'f1': 0.9166666666666666, 'number': 23}	{'precision': 0.6470588235294118, 'recall': 0.5365853658536586, 'f1': 0.5866666666666668, 'number': 41}	{'precision': 0.76, 'recall': 0.8260869565217391, 'f1': 0.7916666666666667, 'number': 46}	{'precision': 0.9047619047619048, 'recall': 0.95, 'f1': 0.9268292682926829, 'number': 20}	{'precision': 0.7619047619047619, 'recall': 0.8888888888888888, 'f1': 0.8205128205128205, 'number': 18}	{'precision': 0.9487179487179487, 'recall': 0.8809523809523809, 'f1': 0.9135802469135802, 'number': 42}	{'precision': 0.5416666666666666, 'recall': 0.5909090909090909, 'f1': 0.5652173913043478, 'number': 22}	{'precision': 0.8, 'recall': 0.7894736842105263, 'f1': 0.794701986754967, 'number': 76}	{'precision': 0.8104838709677419, 'recall': 0.8933333333333333, 'f1': 0.849894291754757, 'number': 1125}	{'precision': 0.8260869565217391, 'recall': 0.8260869565217391, 'f1': 0.8260869565217391, 'number': 23}	{'precision': 0.574468085106383, 'recall': 0.675, 'f1': 0.6206896551724138, 'number': 40}	{'precision': 0.38636363636363635, 'recall': 0.38636363636363635, 'f1': 0.38636363636363635, 'number': 44}	{'precision': 0.8829787234042553, 'recall': 0.7477477477477478, 'f1': 0.8097560975609756, 'number': 111}	{'precision': 0.9551282051282052, 'recall': 0.9612903225806452, 'f1': 0.9581993569131833, 'number': 155}	{'precision': 0.9629629629629629, 'recall': 0.9454545454545454, 'f1': 0.9541284403669724, 'number': 110}	{'precision': 0.7619047619047619, 'recall': 0.8, 'f1': 0.7804878048780488, 'number': 20}	{'precision': 0.8888888888888888, 'recall': 0.8888888888888888, 'f1': 0.8888888888888888, 'number': 18}	0.8048	0.8378	0.8210	0.9155
0.4753	4.0	744	0.3022	{'precision': 0.9032258064516129, 'recall': 0.9655172413793104, 'f1': 0.9333333333333333, 'number': 29}	{'precision': 0.5, 'recall': 0.5, 'f1': 0.5, 'number': 10}	{'precision': 0.2222222222222222, 'recall': 0.2857142857142857, 'f1': 0.25, 'number': 7}	{'precision': 0.75, 'recall': 0.72, 'f1': 0.7346938775510204, 'number': 25}	{'precision': 0.56, 'recall': 0.6363636363636364, 'f1': 0.5957446808510639, 'number': 22}	{'precision': 0.45454545454545453, 'recall': 0.5882352941176471, 'f1': 0.5128205128205129, 'number': 17}	{'precision': 0.4473684210526316, 'recall': 0.5666666666666667, 'f1': 0.5, 'number': 30}	{'precision': 0.7368421052631579, 'recall': 0.8235294117647058, 'f1': 0.7777777777777778, 'number': 17}	{'precision': 0.6666666666666666, 'recall': 0.6451612903225806, 'f1': 0.6557377049180327, 'number': 31}	{'precision': 0.9310344827586207, 'recall': 0.9310344827586207, 'f1': 0.9310344827586207, 'number': 29}	{'precision': 0.8888888888888888, 'recall': 0.9230769230769231, 'f1': 0.9056603773584906, 'number': 26}	{'precision': 0.9444444444444444, 'recall': 0.9444444444444444, 'f1': 0.9444444444444444, 'number': 18}	{'precision': 0.88, 'recall': 0.9565217391304348, 'f1': 0.9166666666666666, 'number': 23}	{'precision': 0.7419354838709677, 'recall': 0.5609756097560976, 'f1': 0.638888888888889, 'number': 41}	{'precision': 0.8085106382978723, 'recall': 0.8260869565217391, 'f1': 0.8172043010752688, 'number': 46}	{'precision': 0.75, 'recall': 0.9, 'f1': 0.8181818181818182, 'number': 20}	{'precision': 0.8095238095238095, 'recall': 0.9444444444444444, 'f1': 0.8717948717948718, 'number': 18}	{'precision': 0.926829268292683, 'recall': 0.9047619047619048, 'f1': 0.9156626506024096, 'number': 42}	{'precision': 0.5925925925925926, 'recall': 0.7272727272727273, 'f1': 0.6530612244897959, 'number': 22}	{'precision': 0.5818181818181818, 'recall': 0.8421052631578947, 'f1': 0.6881720430107526, 'number': 76}	{'precision': 0.8183306055646481, 'recall': 0.8888888888888888, 'f1': 0.8521516829995738, 'number': 1125}	{'precision': 0.875, 'recall': 0.9130434782608695, 'f1': 0.8936170212765957, 'number': 23}	{'precision': 0.6086956521739131, 'recall': 0.7, 'f1': 0.6511627906976744, 'number': 40}	{'precision': 0.5319148936170213, 'recall': 0.5681818181818182, 'f1': 0.5494505494505494, 'number': 44}	{'precision': 0.7583333333333333, 'recall': 0.8198198198198198, 'f1': 0.7878787878787877, 'number': 111}	{'precision': 0.8901734104046243, 'recall': 0.9935483870967742, 'f1': 0.9390243902439024, 'number': 155}	{'precision': 0.9514563106796117, 'recall': 0.8909090909090909, 'f1': 0.9201877934272301, 'number': 110}	{'precision': 0.72, 'recall': 0.9, 'f1': 0.7999999999999999, 'number': 20}	{'precision': 0.85, 'recall': 0.9444444444444444, 'f1': 0.8947368421052632, 'number': 18}	0.7889	0.8583	0.8222	0.9161
0.4753	5.0	930	0.3106	{'precision': 0.75, 'recall': 0.8275862068965517, 'f1': 0.7868852459016394, 'number': 29}	{'precision': 0.5, 'recall': 0.9, 'f1': 0.6428571428571429, 'number': 10}	{'precision': 0.5, 'recall': 0.14285714285714285, 'f1': 0.22222222222222224, 'number': 7}	{'precision': 0.6551724137931034, 'recall': 0.76, 'f1': 0.7037037037037037, 'number': 25}	{'precision': 0.6190476190476191, 'recall': 0.5909090909090909, 'f1': 0.6046511627906977, 'number': 22}	{'precision': 0.4782608695652174, 'recall': 0.6470588235294118, 'f1': 0.55, 'number': 17}	{'precision': 0.41025641025641024, 'recall': 0.5333333333333333, 'f1': 0.463768115942029, 'number': 30}	{'precision': 0.8666666666666667, 'recall': 0.7647058823529411, 'f1': 0.8125, 'number': 17}	{'precision': 0.5925925925925926, 'recall': 0.5161290322580645, 'f1': 0.5517241379310345, 'number': 31}	{'precision': 0.9615384615384616, 'recall': 0.8620689655172413, 'f1': 0.9090909090909091, 'number': 29}	{'precision': 0.8461538461538461, 'recall': 0.8461538461538461, 'f1': 0.8461538461538461, 'number': 26}	{'precision': 0.9444444444444444, 'recall': 0.9444444444444444, 'f1': 0.9444444444444444, 'number': 18}	{'precision': 0.88, 'recall': 0.9565217391304348, 'f1': 0.9166666666666666, 'number': 23}	{'precision': 0.5555555555555556, 'recall': 0.4878048780487805, 'f1': 0.5194805194805195, 'number': 41}	{'precision': 0.8444444444444444, 'recall': 0.8260869565217391, 'f1': 0.8351648351648352, 'number': 46}	{'precision': 0.782608695652174, 'recall': 0.9, 'f1': 0.8372093023255814, 'number': 20}	{'precision': 0.8095238095238095, 'recall': 0.9444444444444444, 'f1': 0.8717948717948718, 'number': 18}	{'precision': 0.8974358974358975, 'recall': 0.8333333333333334, 'f1': 0.8641975308641975, 'number': 42}	{'precision': 0.5, 'recall': 0.6363636363636364, 'f1': 0.56, 'number': 22}	{'precision': 0.6413043478260869, 'recall': 0.7763157894736842, 'f1': 0.7023809523809524, 'number': 76}	{'precision': 0.8354537743850721, 'recall': 0.8755555555555555, 'f1': 0.8550347222222222, 'number': 1125}	{'precision': 0.9523809523809523, 'recall': 0.8695652173913043, 'f1': 0.909090909090909, 'number': 23}	{'precision': 0.6666666666666666, 'recall': 0.8, 'f1': 0.7272727272727272, 'number': 40}	{'precision': 0.6222222222222222, 'recall': 0.6363636363636364, 'f1': 0.6292134831460675, 'number': 44}	{'precision': 0.8823529411764706, 'recall': 0.8108108108108109, 'f1': 0.8450704225352113, 'number': 111}	{'precision': 0.9005847953216374, 'recall': 0.9935483870967742, 'f1': 0.9447852760736196, 'number': 155}	{'precision': 0.9357798165137615, 'recall': 0.9272727272727272, 'f1': 0.9315068493150684, 'number': 110}	{'precision': 0.6521739130434783, 'recall': 0.75, 'f1': 0.6976744186046512, 'number': 20}	{'precision': 0.8947368421052632, 'recall': 0.9444444444444444, 'f1': 0.918918918918919, 'number': 18}	0.8045	0.8437	0.8237	0.9200
0.143	6.0	1116	0.3236	{'precision': 0.8709677419354839, 'recall': 0.9310344827586207, 'f1': 0.9, 'number': 29}	{'precision': 0.8, 'recall': 0.4, 'f1': 0.5333333333333333, 'number': 10}	{'precision': 0.2857142857142857, 'recall': 0.5714285714285714, 'f1': 0.38095238095238093, 'number': 7}	{'precision': 0.7619047619047619, 'recall': 0.64, 'f1': 0.6956521739130435, 'number': 25}	{'precision': 0.52, 'recall': 0.5909090909090909, 'f1': 0.5531914893617023, 'number': 22}	{'precision': 0.43478260869565216, 'recall': 0.5882352941176471, 'f1': 0.5, 'number': 17}	{'precision': 0.5789473684210527, 'recall': 0.7333333333333333, 'f1': 0.6470588235294117, 'number': 30}	{'precision': 0.8666666666666667, 'recall': 0.7647058823529411, 'f1': 0.8125, 'number': 17}	{'precision': 0.5357142857142857, 'recall': 0.4838709677419355, 'f1': 0.5084745762711865, 'number': 31}	{'precision': 0.9285714285714286, 'recall': 0.896551724137931, 'f1': 0.912280701754386, 'number': 29}	{'precision': 0.8214285714285714, 'recall': 0.8846153846153846, 'f1': 0.8518518518518519, 'number': 26}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 0.7916666666666666, 'recall': 0.8260869565217391, 'f1': 0.8085106382978724, 'number': 23}	{'precision': 0.7096774193548387, 'recall': 0.5365853658536586, 'f1': 0.6111111111111112, 'number': 41}	{'precision': 0.7169811320754716, 'recall': 0.8260869565217391, 'f1': 0.7676767676767677, 'number': 46}	{'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 20}	{'precision': 0.8571428571428571, 'recall': 1.0, 'f1': 0.923076923076923, 'number': 18}	{'precision': 0.8636363636363636, 'recall': 0.9047619047619048, 'f1': 0.8837209302325582, 'number': 42}	{'precision': 0.56, 'recall': 0.6363636363636364, 'f1': 0.5957446808510639, 'number': 22}	{'precision': 0.6818181818181818, 'recall': 0.7894736842105263, 'f1': 0.7317073170731707, 'number': 76}	{'precision': 0.8137817883511075, 'recall': 0.8817777777777778, 'f1': 0.8464163822525598, 'number': 1125}	{'precision': 0.88, 'recall': 0.9565217391304348, 'f1': 0.9166666666666666, 'number': 23}	{'precision': 0.6170212765957447, 'recall': 0.725, 'f1': 0.6666666666666666, 'number': 40}	{'precision': 0.5952380952380952, 'recall': 0.5681818181818182, 'f1': 0.5813953488372093, 'number': 44}	{'precision': 0.8256880733944955, 'recall': 0.8108108108108109, 'f1': 0.8181818181818182, 'number': 111}	{'precision': 0.9107142857142857, 'recall': 0.9870967741935484, 'f1': 0.9473684210526314, 'number': 155}	{'precision': 0.9813084112149533, 'recall': 0.9545454545454546, 'f1': 0.967741935483871, 'number': 110}	{'precision': 0.5925925925925926, 'recall': 0.8, 'f1': 0.6808510638297872, 'number': 20}	{'precision': 0.8947368421052632, 'recall': 0.9444444444444444, 'f1': 0.918918918918919, 'number': 18}	0.7962	0.8506	0.8225	0.9189
0.143	7.0	1302	0.3472	{'precision': 0.9032258064516129, 'recall': 0.9655172413793104, 'f1': 0.9333333333333333, 'number': 29}	{'precision': 0.5454545454545454, 'recall': 0.6, 'f1': 0.5714285714285713, 'number': 10}	{'precision': 0.25, 'recall': 0.2857142857142857, 'f1': 0.26666666666666666, 'number': 7}	{'precision': 0.6956521739130435, 'recall': 0.64, 'f1': 0.6666666666666666, 'number': 25}	{'precision': 0.5, 'recall': 0.6363636363636364, 'f1': 0.56, 'number': 22}	{'precision': 0.6470588235294118, 'recall': 0.6470588235294118, 'f1': 0.6470588235294118, 'number': 17}	{'precision': 0.8076923076923077, 'recall': 0.7, 'f1': 0.75, 'number': 30}	{'precision': 0.7, 'recall': 0.8235294117647058, 'f1': 0.7567567567567567, 'number': 17}	{'precision': 0.6538461538461539, 'recall': 0.5483870967741935, 'f1': 0.5964912280701755, 'number': 31}	{'precision': 0.9642857142857143, 'recall': 0.9310344827586207, 'f1': 0.9473684210526316, 'number': 29}	{'precision': 0.8571428571428571, 'recall': 0.9230769230769231, 'f1': 0.888888888888889, 'number': 26}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 0.72, 'recall': 0.782608695652174, 'f1': 0.7499999999999999, 'number': 23}	{'precision': 0.6774193548387096, 'recall': 0.5121951219512195, 'f1': 0.5833333333333334, 'number': 41}	{'precision': 0.76, 'recall': 0.8260869565217391, 'f1': 0.7916666666666667, 'number': 46}	{'precision': 0.9, 'recall': 0.9, 'f1': 0.9, 'number': 20}	{'precision': 0.7619047619047619, 'recall': 0.8888888888888888, 'f1': 0.8205128205128205, 'number': 18}	{'precision': 0.925, 'recall': 0.8809523809523809, 'f1': 0.9024390243902439, 'number': 42}	{'precision': 0.5769230769230769, 'recall': 0.6818181818181818, 'f1': 0.6249999999999999, 'number': 22}	{'precision': 0.6770833333333334, 'recall': 0.8552631578947368, 'f1': 0.7558139534883721, 'number': 76}	{'precision': 0.8409090909090909, 'recall': 0.888, 'f1': 0.8638132295719845, 'number': 1125}	{'precision': 0.9047619047619048, 'recall': 0.8260869565217391, 'f1': 0.8636363636363636, 'number': 23}	{'precision': 0.7333333333333333, 'recall': 0.825, 'f1': 0.776470588235294, 'number': 40}	{'precision': 0.5869565217391305, 'recall': 0.6136363636363636, 'f1': 0.6, 'number': 44}	{'precision': 0.8518518518518519, 'recall': 0.8288288288288288, 'f1': 0.8401826484018264, 'number': 111}	{'precision': 0.9216867469879518, 'recall': 0.9870967741935484, 'f1': 0.9532710280373832, 'number': 155}	{'precision': 0.9719626168224299, 'recall': 0.9454545454545454, 'f1': 0.9585253456221198, 'number': 110}	{'precision': 0.6818181818181818, 'recall': 0.75, 'f1': 0.7142857142857143, 'number': 20}	{'precision': 0.8333333333333334, 'recall': 0.8333333333333334, 'f1': 0.8333333333333334, 'number': 18}	0.8208	0.8579	0.8389	0.9251
0.143	8.0	1488	0.3835	{'precision': 0.8709677419354839, 'recall': 0.9310344827586207, 'f1': 0.9, 'number': 29}	{'precision': 0.6363636363636364, 'recall': 0.7, 'f1': 0.6666666666666666, 'number': 10}	{'precision': 0.2222222222222222, 'recall': 0.2857142857142857, 'f1': 0.25, 'number': 7}	{'precision': 0.782608695652174, 'recall': 0.72, 'f1': 0.7499999999999999, 'number': 25}	{'precision': 0.5652173913043478, 'recall': 0.5909090909090909, 'f1': 0.5777777777777778, 'number': 22}	{'precision': 0.4583333333333333, 'recall': 0.6470588235294118, 'f1': 0.5365853658536585, 'number': 17}	{'precision': 0.6285714285714286, 'recall': 0.7333333333333333, 'f1': 0.6769230769230768, 'number': 30}	{'precision': 0.8235294117647058, 'recall': 0.8235294117647058, 'f1': 0.8235294117647058, 'number': 17}	{'precision': 0.48484848484848486, 'recall': 0.5161290322580645, 'f1': 0.5, 'number': 31}	{'precision': 1.0, 'recall': 0.9310344827586207, 'f1': 0.9642857142857143, 'number': 29}	{'precision': 0.7666666666666667, 'recall': 0.8846153846153846, 'f1': 0.8214285714285715, 'number': 26}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 0.8333333333333334, 'recall': 0.8695652173913043, 'f1': 0.851063829787234, 'number': 23}	{'precision': 0.7419354838709677, 'recall': 0.5609756097560976, 'f1': 0.638888888888889, 'number': 41}	{'precision': 0.72, 'recall': 0.782608695652174, 'f1': 0.7499999999999999, 'number': 46}	{'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 20}	{'precision': 0.8571428571428571, 'recall': 1.0, 'f1': 0.923076923076923, 'number': 18}	{'precision': 0.926829268292683, 'recall': 0.9047619047619048, 'f1': 0.9156626506024096, 'number': 42}	{'precision': 0.5517241379310345, 'recall': 0.7272727272727273, 'f1': 0.6274509803921569, 'number': 22}	{'precision': 0.6547619047619048, 'recall': 0.7236842105263158, 'f1': 0.6875, 'number': 76}	{'precision': 0.8218390804597702, 'recall': 0.8897777777777778, 'f1': 0.8544600938967136, 'number': 1125}	{'precision': 0.8695652173913043, 'recall': 0.8695652173913043, 'f1': 0.8695652173913043, 'number': 23}	{'precision': 0.6666666666666666, 'recall': 0.8, 'f1': 0.7272727272727272, 'number': 40}	{'precision': 0.5106382978723404, 'recall': 0.5454545454545454, 'f1': 0.5274725274725275, 'number': 44}	{'precision': 0.7398373983739838, 'recall': 0.8198198198198198, 'f1': 0.7777777777777778, 'number': 111}	{'precision': 0.9390243902439024, 'recall': 0.9935483870967742, 'f1': 0.9655172413793103, 'number': 155}	{'precision': 0.9814814814814815, 'recall': 0.9636363636363636, 'f1': 0.9724770642201834, 'number': 110}	{'precision': 0.68, 'recall': 0.85, 'f1': 0.7555555555555556, 'number': 20}	{'precision': 0.7894736842105263, 'recall': 0.8333333333333334, 'f1': 0.8108108108108109, 'number': 18}	0.7981	0.8574	0.8267	0.9181
0.0661	9.0	1674	0.4007	{'precision': 0.8387096774193549, 'recall': 0.896551724137931, 'f1': 0.8666666666666666, 'number': 29}	{'precision': 0.7, 'recall': 0.7, 'f1': 0.7, 'number': 10}	{'precision': 0.18181818181818182, 'recall': 0.2857142857142857, 'f1': 0.2222222222222222, 'number': 7}	{'precision': 0.6666666666666666, 'recall': 0.64, 'f1': 0.6530612244897959, 'number': 25}	{'precision': 0.48, 'recall': 0.5454545454545454, 'f1': 0.5106382978723404, 'number': 22}	{'precision': 0.5238095238095238, 'recall': 0.6470588235294118, 'f1': 0.5789473684210527, 'number': 17}	{'precision': 0.6285714285714286, 'recall': 0.7333333333333333, 'f1': 0.6769230769230768, 'number': 30}	{'precision': 0.7647058823529411, 'recall': 0.7647058823529411, 'f1': 0.7647058823529412, 'number': 17}	{'precision': 0.6923076923076923, 'recall': 0.5806451612903226, 'f1': 0.631578947368421, 'number': 31}	{'precision': 1.0, 'recall': 0.9310344827586207, 'f1': 0.9642857142857143, 'number': 29}	{'precision': 0.8571428571428571, 'recall': 0.9230769230769231, 'f1': 0.888888888888889, 'number': 26}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 0.72, 'recall': 0.782608695652174, 'f1': 0.7499999999999999, 'number': 23}	{'precision': 0.6756756756756757, 'recall': 0.6097560975609756, 'f1': 0.6410256410256411, 'number': 41}	{'precision': 0.7115384615384616, 'recall': 0.8043478260869565, 'f1': 0.7551020408163265, 'number': 46}	{'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 20}	{'precision': 0.8095238095238095, 'recall': 0.9444444444444444, 'f1': 0.8717948717948718, 'number': 18}	{'precision': 0.9, 'recall': 0.8571428571428571, 'f1': 0.8780487804878048, 'number': 42}	{'precision': 0.5555555555555556, 'recall': 0.6818181818181818, 'f1': 0.6122448979591836, 'number': 22}	{'precision': 0.6582278481012658, 'recall': 0.6842105263157895, 'f1': 0.6709677419354839, 'number': 76}	{'precision': 0.8220408163265306, 'recall': 0.8951111111111111, 'f1': 0.8570212765957447, 'number': 1125}	{'precision': 0.9166666666666666, 'recall': 0.9565217391304348, 'f1': 0.9361702127659574, 'number': 23}	{'precision': 0.6666666666666666, 'recall': 0.8, 'f1': 0.7272727272727272, 'number': 40}	{'precision': 0.5208333333333334, 'recall': 0.5681818181818182, 'f1': 0.5434782608695652, 'number': 44}	{'precision': 0.7165354330708661, 'recall': 0.8198198198198198, 'f1': 0.7647058823529411, 'number': 111}	{'precision': 0.9221556886227545, 'recall': 0.9935483870967742, 'f1': 0.9565217391304348, 'number': 155}	{'precision': 0.9813084112149533, 'recall': 0.9545454545454546, 'f1': 0.967741935483871, 'number': 110}	{'precision': 0.6666666666666666, 'recall': 0.8, 'f1': 0.7272727272727272, 'number': 20}	{'precision': 0.8888888888888888, 'recall': 0.8888888888888888, 'f1': 0.8888888888888888, 'number': 18}	0.7961	0.8574	0.8256	0.9184
0.0661	10.0	1860	0.4064	{'precision': 0.9032258064516129, 'recall': 0.9655172413793104, 'f1': 0.9333333333333333, 'number': 29}	{'precision': 0.7272727272727273, 'recall': 0.8, 'f1': 0.761904761904762, 'number': 10}	{'precision': 0.2222222222222222, 'recall': 0.2857142857142857, 'f1': 0.25, 'number': 7}	{'precision': 0.6521739130434783, 'recall': 0.6, 'f1': 0.6250000000000001, 'number': 25}	{'precision': 0.5, 'recall': 0.5454545454545454, 'f1': 0.5217391304347826, 'number': 22}	{'precision': 0.5714285714285714, 'recall': 0.7058823529411765, 'f1': 0.6315789473684211, 'number': 17}	{'precision': 0.6666666666666666, 'recall': 0.7333333333333333, 'f1': 0.6984126984126984, 'number': 30}	{'precision': 0.7647058823529411, 'recall': 0.7647058823529411, 'f1': 0.7647058823529412, 'number': 17}	{'precision': 0.6538461538461539, 'recall': 0.5483870967741935, 'f1': 0.5964912280701755, 'number': 31}	{'precision': 1.0, 'recall': 0.9310344827586207, 'f1': 0.9642857142857143, 'number': 29}	{'precision': 0.8275862068965517, 'recall': 0.9230769230769231, 'f1': 0.8727272727272727, 'number': 26}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 0.76, 'recall': 0.8260869565217391, 'f1': 0.7916666666666667, 'number': 23}	{'precision': 0.6857142857142857, 'recall': 0.5853658536585366, 'f1': 0.6315789473684211, 'number': 41}	{'precision': 0.7254901960784313, 'recall': 0.8043478260869565, 'f1': 0.7628865979381443, 'number': 46}	{'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 20}	{'precision': 0.85, 'recall': 0.9444444444444444, 'f1': 0.8947368421052632, 'number': 18}	{'precision': 0.9047619047619048, 'recall': 0.9047619047619048, 'f1': 0.9047619047619048, 'number': 42}	{'precision': 0.5384615384615384, 'recall': 0.6363636363636364, 'f1': 0.5833333333333334, 'number': 22}	{'precision': 0.6785714285714286, 'recall': 0.75, 'f1': 0.7124999999999999, 'number': 76}	{'precision': 0.8326429163214581, 'recall': 0.8933333333333333, 'f1': 0.8619210977701544, 'number': 1125}	{'precision': 0.9166666666666666, 'recall': 0.9565217391304348, 'f1': 0.9361702127659574, 'number': 23}	{'precision': 0.6808510638297872, 'recall': 0.8, 'f1': 0.7356321839080461, 'number': 40}	{'precision': 0.5102040816326531, 'recall': 0.5681818181818182, 'f1': 0.5376344086021506, 'number': 44}	{'precision': 0.7758620689655172, 'recall': 0.8108108108108109, 'f1': 0.7929515418502202, 'number': 111}	{'precision': 0.9221556886227545, 'recall': 0.9935483870967742, 'f1': 0.9565217391304348, 'number': 155}	{'precision': 0.9813084112149533, 'recall': 0.9545454545454546, 'f1': 0.967741935483871, 'number': 110}	{'precision': 0.6538461538461539, 'recall': 0.85, 'f1': 0.7391304347826088, 'number': 20}	{'precision': 0.8888888888888888, 'recall': 0.8888888888888888, 'f1': 0.8888888888888888, 'number': 18}	0.8086	0.8601	0.8336	0.9213

Framework versions

• Transformers 4.44.0
• Pytorch 2.3.1+cu121
• Datasets 2.19.1
• Tokenizers 0.19.1