akera/whisper-medium-sb-lug-eng_archive

whisper-medium-sb-lug-eng

This model is a fine-tuned version of openai/whisper-medium on the generator dataset. It achieves the following results on the evaluation set:

• Loss: 0.1064
• Wer Lug: 0.239
• Wer Eng: 0.147
• Wer Mean: 0.193
• Cer Lug: 0.075
• Cer Eng: 0.075
• Cer Mean: 0.075

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 1e-05
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• training_steps: 12000
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer Lug	Wer Eng	Wer Mean	Cer Lug	Cer Eng	Cer Mean
0.6802	0.0417	500	0.2481	0.497	0.151	0.324	0.124	0.078	0.101
0.526	0.0833	1000	0.1814	0.362	0.374	0.368	0.103	0.236	0.17
0.4551	0.125	1500	0.1649	0.305	0.135	0.22	0.087	0.066	0.076
0.3982	0.1667	2000	0.1522	0.29	0.136	0.213	0.084	0.072	0.078
0.3781	0.2083	2500	0.1436	0.261	0.151	0.206	0.082	0.079	0.081
0.3749	0.25	3000	0.1374	0.267	0.256	0.262	0.082	0.151	0.117
0.3397	0.2917	3500	0.1358	0.272	0.161	0.217	0.085	0.094	0.09
0.321	0.3333	4000	0.1286	0.259	0.135	0.197	0.08	0.065	0.073
0.3014	0.375	4500	0.1271	0.252	0.178	0.215	0.078	0.139	0.108
0.3124	0.4167	5000	0.1241	0.252	0.132	0.192	0.077	0.063	0.07
0.2668	1.0383	5500	0.1190	0.249	0.128	0.188	0.076	0.062	0.069
0.2368	1.08	6000	0.1235	0.248	0.36	0.304	0.078	0.24	0.159
0.2188	1.1217	6500	0.1174	0.246	0.131	0.189	0.077	0.065	0.071
0.2226	1.1633	7000	0.1139	0.242	0.13	0.186	0.075	0.062	0.069
0.2268	1.205	7500	0.1158	0.241	0.136	0.188	0.077	0.066	0.072
0.241	1.2467	8000	0.1144	0.246	0.206	0.226	0.077	0.169	0.123
0.2315	1.2883	8500	0.1091	0.228	0.142	0.185	0.074	0.074	0.074
0.1932	1.33	9000	0.1106	0.235	0.128	0.181	0.075	0.061	0.068
0.2334	1.3717	9500	0.1091	0.239	0.138	0.189	0.074	0.072	0.073
0.1968	1.4133	10000	0.1072	0.237	0.129	0.183	0.074	0.063	0.069
0.1573	2.035	10500	0.1069	0.237	0.148	0.192	0.075	0.076	0.076
0.1527	2.0767	11000	0.1068	0.235	0.146	0.191	0.073	0.076	0.075
0.168	2.1183	11500	0.1061	0.235	0.145	0.19	0.074	0.073	0.074
0.1492	2.16	12000	0.1064	0.239	0.147	0.193	0.075	0.075	0.075

Framework versions

• Transformers 4.42.3
• Pytorch 2.2.0
• Datasets 2.20.0
• Tokenizers 0.19.1