{ "best_metric": null, "best_model_checkpoint": null, "epoch": 1.0, "eval_steps": 20, "global_step": 334, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 0.0, "learning_rate": 1.3333333333333334e-06, "loss": 2.8327, "step": 1 }, { "epoch": 0.01, "learning_rate": 2.666666666666667e-06, "loss": 3.0988, "step": 2 }, { "epoch": 0.01, "learning_rate": 4.000000000000001e-06, "loss": 2.6419, "step": 3 }, { "epoch": 0.01, "learning_rate": 5.333333333333334e-06, "loss": 2.381, "step": 4 }, { "epoch": 0.01, "learning_rate": 6.666666666666667e-06, "loss": 2.657, "step": 5 }, { "epoch": 0.02, "learning_rate": 8.000000000000001e-06, "loss": 2.408, "step": 6 }, { "epoch": 0.02, "learning_rate": 9.333333333333334e-06, "loss": 3.2158, "step": 7 }, { "epoch": 0.02, "learning_rate": 1.0666666666666667e-05, "loss": 2.2635, "step": 8 }, { "epoch": 0.03, "learning_rate": 1.2e-05, "loss": 1.9091, "step": 9 }, { "epoch": 0.03, "learning_rate": 1.3333333333333333e-05, "loss": 2.9039, "step": 10 }, { "epoch": 0.03, "learning_rate": 1.4666666666666668e-05, "loss": 1.789, "step": 11 }, { "epoch": 0.04, "learning_rate": 1.6000000000000003e-05, "loss": 1.3775, "step": 12 }, { "epoch": 0.04, "learning_rate": 1.7333333333333336e-05, "loss": 1.7759, "step": 13 }, { "epoch": 0.04, "learning_rate": 1.866666666666667e-05, "loss": 1.2334, "step": 14 }, { "epoch": 0.04, "learning_rate": 2e-05, "loss": 0.7635, "step": 15 }, { "epoch": 0.05, "learning_rate": 2.1333333333333335e-05, "loss": 0.8482, "step": 16 }, { "epoch": 0.05, "learning_rate": 2.2666666666666668e-05, "loss": 0.7464, "step": 17 }, { "epoch": 0.05, "learning_rate": 2.4e-05, "loss": 0.7694, "step": 18 }, { "epoch": 0.06, "learning_rate": 2.5333333333333337e-05, "loss": 0.6606, "step": 19 }, { "epoch": 0.06, "learning_rate": 2.6666666666666667e-05, "loss": 0.8333, "step": 20 }, { "epoch": 0.06, "eval_loss": 0.6411340832710266, "eval_runtime": 39.0251, "eval_samples_per_second": 41.742, "eval_steps_per_second": 20.884, "step": 20 }, { "epoch": 0.06, "learning_rate": 2.8000000000000003e-05, "loss": 0.8225, "step": 21 }, { "epoch": 0.07, "learning_rate": 2.9333333333333336e-05, "loss": 0.7741, "step": 22 }, { "epoch": 0.07, "learning_rate": 3.066666666666667e-05, "loss": 0.8105, "step": 23 }, { "epoch": 0.07, "learning_rate": 3.2000000000000005e-05, "loss": 0.6497, "step": 24 }, { "epoch": 0.07, "learning_rate": 3.3333333333333335e-05, "loss": 0.6973, "step": 25 }, { "epoch": 0.08, "learning_rate": 3.466666666666667e-05, "loss": 0.8275, "step": 26 }, { "epoch": 0.08, "learning_rate": 3.6e-05, "loss": 0.9258, "step": 27 }, { "epoch": 0.08, "learning_rate": 3.733333333333334e-05, "loss": 0.6865, "step": 28 }, { "epoch": 0.09, "learning_rate": 3.866666666666667e-05, "loss": 0.68, "step": 29 }, { "epoch": 0.09, "learning_rate": 4e-05, "loss": 0.7747, "step": 30 }, { "epoch": 0.09, "learning_rate": 4.133333333333333e-05, "loss": 0.725, "step": 31 }, { "epoch": 0.1, "learning_rate": 4.266666666666667e-05, "loss": 0.6831, "step": 32 }, { "epoch": 0.1, "learning_rate": 4.4000000000000006e-05, "loss": 0.754, "step": 33 }, { "epoch": 0.1, "learning_rate": 4.5333333333333335e-05, "loss": 0.7415, "step": 34 }, { "epoch": 0.1, "learning_rate": 4.666666666666667e-05, "loss": 0.7404, "step": 35 }, { "epoch": 0.11, "learning_rate": 4.8e-05, "loss": 0.7474, "step": 36 }, { "epoch": 0.11, "learning_rate": 4.933333333333334e-05, "loss": 0.7268, "step": 37 }, { "epoch": 0.11, "learning_rate": 5.0666666666666674e-05, "loss": 0.7249, "step": 38 }, { "epoch": 0.12, "learning_rate": 5.2000000000000004e-05, "loss": 0.5853, "step": 39 }, { "epoch": 0.12, "learning_rate": 5.333333333333333e-05, "loss": 0.6715, "step": 40 }, { "epoch": 0.12, "eval_loss": 0.5898512005805969, "eval_runtime": 39.0712, "eval_samples_per_second": 41.693, "eval_steps_per_second": 20.859, "step": 40 }, { "epoch": 0.12, "learning_rate": 5.466666666666666e-05, "loss": 0.6705, "step": 41 }, { "epoch": 0.13, "learning_rate": 5.6000000000000006e-05, "loss": 0.6564, "step": 42 }, { "epoch": 0.13, "learning_rate": 5.7333333333333336e-05, "loss": 0.7193, "step": 43 }, { "epoch": 0.13, "learning_rate": 5.866666666666667e-05, "loss": 0.7587, "step": 44 }, { "epoch": 0.13, "learning_rate": 6e-05, "loss": 0.7327, "step": 45 }, { "epoch": 0.14, "learning_rate": 6.133333333333334e-05, "loss": 0.7989, "step": 46 }, { "epoch": 0.14, "learning_rate": 6.266666666666667e-05, "loss": 0.586, "step": 47 }, { "epoch": 0.14, "learning_rate": 6.400000000000001e-05, "loss": 0.6681, "step": 48 }, { "epoch": 0.15, "learning_rate": 6.533333333333334e-05, "loss": 0.7467, "step": 49 }, { "epoch": 0.15, "learning_rate": 6.666666666666667e-05, "loss": 0.5078, "step": 50 }, { "epoch": 0.15, "learning_rate": 6.800000000000001e-05, "loss": 0.7192, "step": 51 }, { "epoch": 0.16, "learning_rate": 6.933333333333334e-05, "loss": 0.8233, "step": 52 }, { "epoch": 0.16, "learning_rate": 7.066666666666667e-05, "loss": 0.7273, "step": 53 }, { "epoch": 0.16, "learning_rate": 7.2e-05, "loss": 0.6151, "step": 54 }, { "epoch": 0.16, "learning_rate": 7.333333333333333e-05, "loss": 0.7629, "step": 55 }, { "epoch": 0.17, "learning_rate": 7.466666666666667e-05, "loss": 0.6741, "step": 56 }, { "epoch": 0.17, "learning_rate": 7.6e-05, "loss": 0.5387, "step": 57 }, { "epoch": 0.17, "learning_rate": 7.733333333333333e-05, "loss": 0.7459, "step": 58 }, { "epoch": 0.18, "learning_rate": 7.866666666666666e-05, "loss": 0.5558, "step": 59 }, { "epoch": 0.18, "learning_rate": 8e-05, "loss": 0.5905, "step": 60 }, { "epoch": 0.18, "eval_loss": 0.557337760925293, "eval_runtime": 39.0718, "eval_samples_per_second": 41.692, "eval_steps_per_second": 20.859, "step": 60 }, { "epoch": 0.18, "learning_rate": 8.133333333333334e-05, "loss": 0.6305, "step": 61 }, { "epoch": 0.19, "learning_rate": 8.266666666666667e-05, "loss": 0.7207, "step": 62 }, { "epoch": 0.19, "learning_rate": 8.4e-05, "loss": 0.6926, "step": 63 }, { "epoch": 0.19, "learning_rate": 8.533333333333334e-05, "loss": 0.4858, "step": 64 }, { "epoch": 0.19, "learning_rate": 8.666666666666667e-05, "loss": 0.634, "step": 65 }, { "epoch": 0.2, "learning_rate": 8.800000000000001e-05, "loss": 0.6184, "step": 66 }, { "epoch": 0.2, "learning_rate": 8.933333333333334e-05, "loss": 0.5475, "step": 67 }, { "epoch": 0.2, "learning_rate": 9.066666666666667e-05, "loss": 0.5431, "step": 68 }, { "epoch": 0.21, "learning_rate": 9.200000000000001e-05, "loss": 0.659, "step": 69 }, { "epoch": 0.21, "learning_rate": 9.333333333333334e-05, "loss": 0.8016, "step": 70 }, { "epoch": 0.21, "learning_rate": 9.466666666666667e-05, "loss": 0.6429, "step": 71 }, { "epoch": 0.22, "learning_rate": 9.6e-05, "loss": 0.5628, "step": 72 }, { "epoch": 0.22, "learning_rate": 9.733333333333335e-05, "loss": 0.6041, "step": 73 }, { "epoch": 0.22, "learning_rate": 9.866666666666668e-05, "loss": 0.4893, "step": 74 }, { "epoch": 0.22, "learning_rate": 0.0001, "loss": 0.7429, "step": 75 }, { "epoch": 0.23, "learning_rate": 0.00010133333333333335, "loss": 0.5158, "step": 76 }, { "epoch": 0.23, "learning_rate": 0.00010266666666666666, "loss": 0.7377, "step": 77 }, { "epoch": 0.23, "learning_rate": 0.00010400000000000001, "loss": 0.5242, "step": 78 }, { "epoch": 0.24, "learning_rate": 0.00010533333333333332, "loss": 0.549, "step": 79 }, { "epoch": 0.24, "learning_rate": 0.00010666666666666667, "loss": 0.5845, "step": 80 }, { "epoch": 0.24, "eval_loss": 0.5341688990592957, "eval_runtime": 39.1341, "eval_samples_per_second": 41.626, "eval_steps_per_second": 20.826, "step": 80 }, { "epoch": 0.24, "learning_rate": 0.00010800000000000001, "loss": 0.5873, "step": 81 }, { "epoch": 0.25, "learning_rate": 0.00010933333333333333, "loss": 0.5998, "step": 82 }, { "epoch": 0.25, "learning_rate": 0.00011066666666666667, "loss": 0.8269, "step": 83 }, { "epoch": 0.25, "learning_rate": 0.00011200000000000001, "loss": 0.6924, "step": 84 }, { "epoch": 0.25, "learning_rate": 0.00011333333333333334, "loss": 0.5342, "step": 85 }, { "epoch": 0.26, "learning_rate": 0.00011466666666666667, "loss": 0.5858, "step": 86 }, { "epoch": 0.26, "learning_rate": 0.000116, "loss": 0.5207, "step": 87 }, { "epoch": 0.26, "learning_rate": 0.00011733333333333334, "loss": 0.6034, "step": 88 }, { "epoch": 0.27, "learning_rate": 0.00011866666666666669, "loss": 0.707, "step": 89 }, { "epoch": 0.27, "learning_rate": 0.00012, "loss": 0.6256, "step": 90 }, { "epoch": 0.27, "learning_rate": 0.00012133333333333335, "loss": 0.8011, "step": 91 }, { "epoch": 0.28, "learning_rate": 0.00012266666666666668, "loss": 0.7638, "step": 92 }, { "epoch": 0.28, "learning_rate": 0.000124, "loss": 0.5857, "step": 93 }, { "epoch": 0.28, "learning_rate": 0.00012533333333333334, "loss": 0.5948, "step": 94 }, { "epoch": 0.28, "learning_rate": 0.00012666666666666666, "loss": 0.6051, "step": 95 }, { "epoch": 0.29, "learning_rate": 0.00012800000000000002, "loss": 0.6847, "step": 96 }, { "epoch": 0.29, "learning_rate": 0.00012933333333333332, "loss": 0.4701, "step": 97 }, { "epoch": 0.29, "learning_rate": 0.00013066666666666668, "loss": 0.6454, "step": 98 }, { "epoch": 0.3, "learning_rate": 0.000132, "loss": 0.5723, "step": 99 }, { "epoch": 0.3, "learning_rate": 0.00013333333333333334, "loss": 0.5524, "step": 100 }, { "epoch": 0.3, "eval_loss": 0.5259758234024048, "eval_runtime": 39.0597, "eval_samples_per_second": 41.705, "eval_steps_per_second": 20.865, "step": 100 }, { "epoch": 0.3, "learning_rate": 0.00013466666666666667, "loss": 0.6256, "step": 101 }, { "epoch": 0.31, "learning_rate": 0.00013600000000000003, "loss": 0.5798, "step": 102 }, { "epoch": 0.31, "learning_rate": 0.00013733333333333333, "loss": 0.6021, "step": 103 }, { "epoch": 0.31, "learning_rate": 0.00013866666666666669, "loss": 0.652, "step": 104 }, { "epoch": 0.31, "learning_rate": 0.00014, "loss": 0.5602, "step": 105 }, { "epoch": 0.32, "learning_rate": 0.00014133333333333334, "loss": 0.6358, "step": 106 }, { "epoch": 0.32, "learning_rate": 0.00014266666666666667, "loss": 0.6063, "step": 107 }, { "epoch": 0.32, "learning_rate": 0.000144, "loss": 0.6901, "step": 108 }, { "epoch": 0.33, "learning_rate": 0.00014533333333333333, "loss": 0.5586, "step": 109 }, { "epoch": 0.33, "learning_rate": 0.00014666666666666666, "loss": 0.6054, "step": 110 }, { "epoch": 0.33, "learning_rate": 0.000148, "loss": 0.4814, "step": 111 }, { "epoch": 0.34, "learning_rate": 0.00014933333333333335, "loss": 0.347, "step": 112 }, { "epoch": 0.34, "learning_rate": 0.00015066666666666668, "loss": 0.4877, "step": 113 }, { "epoch": 0.34, "learning_rate": 0.000152, "loss": 0.7594, "step": 114 }, { "epoch": 0.34, "learning_rate": 0.00015333333333333334, "loss": 0.5597, "step": 115 }, { "epoch": 0.35, "learning_rate": 0.00015466666666666667, "loss": 0.4975, "step": 116 }, { "epoch": 0.35, "learning_rate": 0.00015600000000000002, "loss": 0.6336, "step": 117 }, { "epoch": 0.35, "learning_rate": 0.00015733333333333333, "loss": 0.6042, "step": 118 }, { "epoch": 0.36, "learning_rate": 0.00015866666666666668, "loss": 0.4253, "step": 119 }, { "epoch": 0.36, "learning_rate": 0.00016, "loss": 0.5516, "step": 120 }, { "epoch": 0.36, "eval_loss": 0.5273345708847046, "eval_runtime": 39.0262, "eval_samples_per_second": 41.741, "eval_steps_per_second": 20.883, "step": 120 }, { "epoch": 0.36, "learning_rate": 0.00016133333333333334, "loss": 0.3813, "step": 121 }, { "epoch": 0.37, "learning_rate": 0.00016266666666666667, "loss": 0.5743, "step": 122 }, { "epoch": 0.37, "learning_rate": 0.000164, "loss": 0.5525, "step": 123 }, { "epoch": 0.37, "learning_rate": 0.00016533333333333333, "loss": 0.6549, "step": 124 }, { "epoch": 0.37, "learning_rate": 0.0001666666666666667, "loss": 0.6705, "step": 125 }, { "epoch": 0.38, "learning_rate": 0.000168, "loss": 0.6486, "step": 126 }, { "epoch": 0.38, "learning_rate": 0.00016933333333333335, "loss": 0.5122, "step": 127 }, { "epoch": 0.38, "learning_rate": 0.00017066666666666668, "loss": 0.6339, "step": 128 }, { "epoch": 0.39, "learning_rate": 0.000172, "loss": 0.5281, "step": 129 }, { "epoch": 0.39, "learning_rate": 0.00017333333333333334, "loss": 0.6219, "step": 130 }, { "epoch": 0.39, "learning_rate": 0.00017466666666666667, "loss": 0.548, "step": 131 }, { "epoch": 0.4, "learning_rate": 0.00017600000000000002, "loss": 0.6827, "step": 132 }, { "epoch": 0.4, "learning_rate": 0.00017733333333333335, "loss": 0.6162, "step": 133 }, { "epoch": 0.4, "learning_rate": 0.00017866666666666668, "loss": 0.4973, "step": 134 }, { "epoch": 0.4, "learning_rate": 0.00018, "loss": 0.7511, "step": 135 }, { "epoch": 0.41, "learning_rate": 0.00018133333333333334, "loss": 0.4998, "step": 136 }, { "epoch": 0.41, "learning_rate": 0.00018266666666666667, "loss": 0.4568, "step": 137 }, { "epoch": 0.41, "learning_rate": 0.00018400000000000003, "loss": 0.4537, "step": 138 }, { "epoch": 0.42, "learning_rate": 0.00018533333333333333, "loss": 0.5601, "step": 139 }, { "epoch": 0.42, "learning_rate": 0.0001866666666666667, "loss": 0.5465, "step": 140 }, { "epoch": 0.42, "eval_loss": 0.5131502151489258, "eval_runtime": 39.125, "eval_samples_per_second": 41.636, "eval_steps_per_second": 20.831, "step": 140 }, { "epoch": 0.42, "learning_rate": 0.000188, "loss": 0.5256, "step": 141 }, { "epoch": 0.43, "learning_rate": 0.00018933333333333335, "loss": 0.6077, "step": 142 }, { "epoch": 0.43, "learning_rate": 0.00019066666666666668, "loss": 0.6348, "step": 143 }, { "epoch": 0.43, "learning_rate": 0.000192, "loss": 0.5437, "step": 144 }, { "epoch": 0.43, "learning_rate": 0.00019333333333333333, "loss": 0.602, "step": 145 }, { "epoch": 0.44, "learning_rate": 0.0001946666666666667, "loss": 0.4774, "step": 146 }, { "epoch": 0.44, "learning_rate": 0.000196, "loss": 0.6249, "step": 147 }, { "epoch": 0.44, "learning_rate": 0.00019733333333333335, "loss": 0.6498, "step": 148 }, { "epoch": 0.45, "learning_rate": 0.00019866666666666668, "loss": 0.5419, "step": 149 }, { "epoch": 0.45, "learning_rate": 0.0002, "loss": 0.5724, "step": 150 }, { "epoch": 0.45, "learning_rate": 0.00020133333333333334, "loss": 0.6224, "step": 151 }, { "epoch": 0.46, "learning_rate": 0.0002026666666666667, "loss": 0.4996, "step": 152 }, { "epoch": 0.46, "learning_rate": 0.00020400000000000003, "loss": 0.5016, "step": 153 }, { "epoch": 0.46, "learning_rate": 0.00020533333333333333, "loss": 0.4315, "step": 154 }, { "epoch": 0.46, "learning_rate": 0.00020666666666666668, "loss": 0.5096, "step": 155 }, { "epoch": 0.47, "learning_rate": 0.00020800000000000001, "loss": 0.5167, "step": 156 }, { "epoch": 0.47, "learning_rate": 0.00020933333333333334, "loss": 0.6057, "step": 157 }, { "epoch": 0.47, "learning_rate": 0.00021066666666666665, "loss": 0.763, "step": 158 }, { "epoch": 0.48, "learning_rate": 0.00021200000000000003, "loss": 0.4568, "step": 159 }, { "epoch": 0.48, "learning_rate": 0.00021333333333333333, "loss": 0.439, "step": 160 }, { "epoch": 0.48, "eval_loss": 0.5084798336029053, "eval_runtime": 39.1227, "eval_samples_per_second": 41.638, "eval_steps_per_second": 20.832, "step": 160 }, { "epoch": 0.48, "learning_rate": 0.00021466666666666666, "loss": 0.3806, "step": 161 }, { "epoch": 0.49, "learning_rate": 0.00021600000000000002, "loss": 0.4544, "step": 162 }, { "epoch": 0.49, "learning_rate": 0.00021733333333333335, "loss": 0.5606, "step": 163 }, { "epoch": 0.49, "learning_rate": 0.00021866666666666665, "loss": 0.5595, "step": 164 }, { "epoch": 0.49, "learning_rate": 0.00022000000000000003, "loss": 0.5773, "step": 165 }, { "epoch": 0.5, "learning_rate": 0.00022133333333333334, "loss": 0.511, "step": 166 }, { "epoch": 0.5, "learning_rate": 0.00022266666666666667, "loss": 0.6515, "step": 167 }, { "epoch": 0.5, "learning_rate": 0.00022400000000000002, "loss": 0.4612, "step": 168 }, { "epoch": 0.51, "learning_rate": 0.00022533333333333335, "loss": 0.4674, "step": 169 }, { "epoch": 0.51, "learning_rate": 0.00022666666666666668, "loss": 0.6907, "step": 170 }, { "epoch": 0.51, "learning_rate": 0.00022799999999999999, "loss": 0.6061, "step": 171 }, { "epoch": 0.51, "learning_rate": 0.00022933333333333334, "loss": 0.594, "step": 172 }, { "epoch": 0.52, "learning_rate": 0.00023066666666666667, "loss": 0.5703, "step": 173 }, { "epoch": 0.52, "learning_rate": 0.000232, "loss": 0.6094, "step": 174 }, { "epoch": 0.52, "learning_rate": 0.00023333333333333336, "loss": 0.5031, "step": 175 }, { "epoch": 0.53, "learning_rate": 0.0002346666666666667, "loss": 0.4689, "step": 176 }, { "epoch": 0.53, "learning_rate": 0.000236, "loss": 0.6271, "step": 177 }, { "epoch": 0.53, "learning_rate": 0.00023733333333333337, "loss": 0.4404, "step": 178 }, { "epoch": 0.54, "learning_rate": 0.00023866666666666668, "loss": 0.4846, "step": 179 }, { "epoch": 0.54, "learning_rate": 0.00024, "loss": 0.6857, "step": 180 }, { "epoch": 0.54, "eval_loss": 0.49820253252983093, "eval_runtime": 39.0562, "eval_samples_per_second": 41.709, "eval_steps_per_second": 20.867, "step": 180 }, { "epoch": 0.54, "learning_rate": 0.00024133333333333336, "loss": 0.6329, "step": 181 }, { "epoch": 0.54, "learning_rate": 0.0002426666666666667, "loss": 0.4513, "step": 182 }, { "epoch": 0.55, "learning_rate": 0.000244, "loss": 0.5719, "step": 183 }, { "epoch": 0.55, "learning_rate": 0.00024533333333333335, "loss": 0.5743, "step": 184 }, { "epoch": 0.55, "learning_rate": 0.0002466666666666667, "loss": 0.4558, "step": 185 }, { "epoch": 0.56, "learning_rate": 0.000248, "loss": 0.8386, "step": 186 }, { "epoch": 0.56, "learning_rate": 0.00024933333333333334, "loss": 0.5067, "step": 187 }, { "epoch": 0.56, "learning_rate": 0.00025066666666666667, "loss": 0.4633, "step": 188 }, { "epoch": 0.57, "learning_rate": 0.000252, "loss": 0.8261, "step": 189 }, { "epoch": 0.57, "learning_rate": 0.00025333333333333333, "loss": 0.4692, "step": 190 }, { "epoch": 0.57, "learning_rate": 0.0002546666666666667, "loss": 0.4346, "step": 191 }, { "epoch": 0.57, "learning_rate": 0.00025600000000000004, "loss": 0.4951, "step": 192 }, { "epoch": 0.58, "learning_rate": 0.0002573333333333333, "loss": 0.5326, "step": 193 }, { "epoch": 0.58, "learning_rate": 0.00025866666666666665, "loss": 0.7204, "step": 194 }, { "epoch": 0.58, "learning_rate": 0.00026000000000000003, "loss": 0.5423, "step": 195 }, { "epoch": 0.59, "learning_rate": 0.00026133333333333336, "loss": 0.5059, "step": 196 }, { "epoch": 0.59, "learning_rate": 0.00026266666666666664, "loss": 0.7371, "step": 197 }, { "epoch": 0.59, "learning_rate": 0.000264, "loss": 0.4905, "step": 198 }, { "epoch": 0.6, "learning_rate": 0.00026533333333333335, "loss": 0.5729, "step": 199 }, { "epoch": 0.6, "learning_rate": 0.0002666666666666667, "loss": 0.7326, "step": 200 }, { "epoch": 0.6, "eval_loss": 0.5096016526222229, "eval_runtime": 38.9974, "eval_samples_per_second": 41.772, "eval_steps_per_second": 20.899, "step": 200 }, { "epoch": 0.6, "learning_rate": 0.000268, "loss": 0.7271, "step": 201 }, { "epoch": 0.6, "learning_rate": 0.00026933333333333334, "loss": 0.5519, "step": 202 }, { "epoch": 0.61, "learning_rate": 0.00027066666666666667, "loss": 0.6148, "step": 203 }, { "epoch": 0.61, "learning_rate": 0.00027200000000000005, "loss": 0.5656, "step": 204 }, { "epoch": 0.61, "learning_rate": 0.00027333333333333333, "loss": 0.4745, "step": 205 }, { "epoch": 0.62, "learning_rate": 0.00027466666666666666, "loss": 0.3901, "step": 206 }, { "epoch": 0.62, "learning_rate": 0.000276, "loss": 0.5684, "step": 207 }, { "epoch": 0.62, "learning_rate": 0.00027733333333333337, "loss": 0.6405, "step": 208 }, { "epoch": 0.63, "learning_rate": 0.0002786666666666667, "loss": 0.6566, "step": 209 }, { "epoch": 0.63, "learning_rate": 0.00028, "loss": 0.6318, "step": 210 }, { "epoch": 0.63, "learning_rate": 0.00028133333333333336, "loss": 0.5454, "step": 211 }, { "epoch": 0.63, "learning_rate": 0.0002826666666666667, "loss": 0.7309, "step": 212 }, { "epoch": 0.64, "learning_rate": 0.000284, "loss": 0.4298, "step": 213 }, { "epoch": 0.64, "learning_rate": 0.00028533333333333335, "loss": 0.6239, "step": 214 }, { "epoch": 0.64, "learning_rate": 0.0002866666666666667, "loss": 0.6409, "step": 215 }, { "epoch": 0.65, "learning_rate": 0.000288, "loss": 0.5176, "step": 216 }, { "epoch": 0.65, "learning_rate": 0.0002893333333333334, "loss": 0.5586, "step": 217 }, { "epoch": 0.65, "learning_rate": 0.00029066666666666667, "loss": 0.5455, "step": 218 }, { "epoch": 0.66, "learning_rate": 0.000292, "loss": 0.5462, "step": 219 }, { "epoch": 0.66, "learning_rate": 0.0002933333333333333, "loss": 0.8225, "step": 220 }, { "epoch": 0.66, "eval_loss": 0.5079875588417053, "eval_runtime": 39.0413, "eval_samples_per_second": 41.725, "eval_steps_per_second": 20.875, "step": 220 }, { "epoch": 0.66, "learning_rate": 0.0002946666666666667, "loss": 0.5573, "step": 221 }, { "epoch": 0.66, "learning_rate": 0.000296, "loss": 0.53, "step": 222 }, { "epoch": 0.67, "learning_rate": 0.0002973333333333333, "loss": 0.4626, "step": 223 }, { "epoch": 0.67, "learning_rate": 0.0002986666666666667, "loss": 0.4893, "step": 224 }, { "epoch": 0.67, "learning_rate": 0.00030000000000000003, "loss": 0.4595, "step": 225 }, { "epoch": 0.68, "learning_rate": 0.00030133333333333336, "loss": 0.6778, "step": 226 }, { "epoch": 0.68, "learning_rate": 0.0003026666666666667, "loss": 0.6783, "step": 227 }, { "epoch": 0.68, "learning_rate": 0.000304, "loss": 0.6577, "step": 228 }, { "epoch": 0.69, "learning_rate": 0.00030533333333333335, "loss": 0.5897, "step": 229 }, { "epoch": 0.69, "learning_rate": 0.0003066666666666667, "loss": 0.6532, "step": 230 }, { "epoch": 0.69, "learning_rate": 0.000308, "loss": 0.6298, "step": 231 }, { "epoch": 0.69, "learning_rate": 0.00030933333333333334, "loss": 0.4022, "step": 232 }, { "epoch": 0.7, "learning_rate": 0.00031066666666666666, "loss": 0.5869, "step": 233 }, { "epoch": 0.7, "learning_rate": 0.00031200000000000005, "loss": 0.6087, "step": 234 }, { "epoch": 0.7, "learning_rate": 0.0003133333333333333, "loss": 0.5389, "step": 235 }, { "epoch": 0.71, "learning_rate": 0.00031466666666666665, "loss": 0.4441, "step": 236 }, { "epoch": 0.71, "learning_rate": 0.00031600000000000004, "loss": 0.4996, "step": 237 }, { "epoch": 0.71, "learning_rate": 0.00031733333333333337, "loss": 0.7413, "step": 238 }, { "epoch": 0.72, "learning_rate": 0.00031866666666666664, "loss": 0.5144, "step": 239 }, { "epoch": 0.72, "learning_rate": 0.00032, "loss": 0.6148, "step": 240 }, { "epoch": 0.72, "eval_loss": 0.4882766604423523, "eval_runtime": 39.1262, "eval_samples_per_second": 41.635, "eval_steps_per_second": 20.83, "step": 240 }, { "epoch": 0.72, "learning_rate": 0.00032133333333333336, "loss": 0.4032, "step": 241 }, { "epoch": 0.72, "learning_rate": 0.0003226666666666667, "loss": 0.5266, "step": 242 }, { "epoch": 0.73, "learning_rate": 0.000324, "loss": 0.6, "step": 243 }, { "epoch": 0.73, "learning_rate": 0.00032533333333333334, "loss": 0.55, "step": 244 }, { "epoch": 0.73, "learning_rate": 0.0003266666666666667, "loss": 0.5816, "step": 245 }, { "epoch": 0.74, "learning_rate": 0.000328, "loss": 0.4583, "step": 246 }, { "epoch": 0.74, "learning_rate": 0.00032933333333333333, "loss": 0.4872, "step": 247 }, { "epoch": 0.74, "learning_rate": 0.00033066666666666666, "loss": 0.5112, "step": 248 }, { "epoch": 0.75, "learning_rate": 0.000332, "loss": 0.4714, "step": 249 }, { "epoch": 0.75, "learning_rate": 0.0003333333333333334, "loss": 0.8368, "step": 250 }, { "epoch": 0.75, "learning_rate": 0.0003346666666666667, "loss": 0.4689, "step": 251 }, { "epoch": 0.75, "learning_rate": 0.000336, "loss": 0.6403, "step": 252 }, { "epoch": 0.76, "learning_rate": 0.00033733333333333337, "loss": 0.6252, "step": 253 }, { "epoch": 0.76, "learning_rate": 0.0003386666666666667, "loss": 0.6707, "step": 254 }, { "epoch": 0.76, "learning_rate": 0.00034, "loss": 0.6497, "step": 255 }, { "epoch": 0.77, "learning_rate": 0.00034133333333333335, "loss": 0.3741, "step": 256 }, { "epoch": 0.77, "learning_rate": 0.0003426666666666667, "loss": 0.3442, "step": 257 }, { "epoch": 0.77, "learning_rate": 0.000344, "loss": 0.459, "step": 258 }, { "epoch": 0.78, "learning_rate": 0.00034533333333333334, "loss": 0.7909, "step": 259 }, { "epoch": 0.78, "learning_rate": 0.00034666666666666667, "loss": 0.4524, "step": 260 }, { "epoch": 0.78, "eval_loss": 0.4969780147075653, "eval_runtime": 39.097, "eval_samples_per_second": 41.666, "eval_steps_per_second": 20.846, "step": 260 }, { "epoch": 0.78, "learning_rate": 0.000348, "loss": 0.514, "step": 261 }, { "epoch": 0.78, "learning_rate": 0.00034933333333333333, "loss": 0.5195, "step": 262 }, { "epoch": 0.79, "learning_rate": 0.0003506666666666667, "loss": 0.5651, "step": 263 }, { "epoch": 0.79, "learning_rate": 0.00035200000000000005, "loss": 0.5681, "step": 264 }, { "epoch": 0.79, "learning_rate": 0.0003533333333333333, "loss": 0.4571, "step": 265 }, { "epoch": 0.8, "learning_rate": 0.0003546666666666667, "loss": 0.4669, "step": 266 }, { "epoch": 0.8, "learning_rate": 0.00035600000000000003, "loss": 0.6006, "step": 267 }, { "epoch": 0.8, "learning_rate": 0.00035733333333333336, "loss": 0.61, "step": 268 }, { "epoch": 0.81, "learning_rate": 0.00035866666666666664, "loss": 0.685, "step": 269 }, { "epoch": 0.81, "learning_rate": 0.00036, "loss": 0.5961, "step": 270 }, { "epoch": 0.81, "learning_rate": 0.00036133333333333335, "loss": 0.5775, "step": 271 }, { "epoch": 0.81, "learning_rate": 0.0003626666666666667, "loss": 0.5196, "step": 272 }, { "epoch": 0.82, "learning_rate": 0.000364, "loss": 0.5586, "step": 273 }, { "epoch": 0.82, "learning_rate": 0.00036533333333333334, "loss": 0.5283, "step": 274 }, { "epoch": 0.82, "learning_rate": 0.00036666666666666667, "loss": 0.5068, "step": 275 }, { "epoch": 0.83, "learning_rate": 0.00036800000000000005, "loss": 0.5045, "step": 276 }, { "epoch": 0.83, "learning_rate": 0.00036933333333333333, "loss": 0.5001, "step": 277 }, { "epoch": 0.83, "learning_rate": 0.00037066666666666666, "loss": 0.5021, "step": 278 }, { "epoch": 0.84, "learning_rate": 0.00037200000000000004, "loss": 0.4542, "step": 279 }, { "epoch": 0.84, "learning_rate": 0.0003733333333333334, "loss": 0.6084, "step": 280 }, { "epoch": 0.84, "eval_loss": 0.5424579381942749, "eval_runtime": 39.1219, "eval_samples_per_second": 41.639, "eval_steps_per_second": 20.832, "step": 280 }, { "epoch": 0.84, "learning_rate": 0.0003746666666666667, "loss": 0.5885, "step": 281 }, { "epoch": 0.84, "learning_rate": 0.000376, "loss": 0.7034, "step": 282 }, { "epoch": 0.85, "learning_rate": 0.00037733333333333336, "loss": 0.601, "step": 283 }, { "epoch": 0.85, "learning_rate": 0.0003786666666666667, "loss": 0.646, "step": 284 }, { "epoch": 0.85, "learning_rate": 0.00038, "loss": 0.5125, "step": 285 }, { "epoch": 0.86, "learning_rate": 0.00038133333333333335, "loss": 0.5087, "step": 286 }, { "epoch": 0.86, "learning_rate": 0.0003826666666666667, "loss": 0.6016, "step": 287 }, { "epoch": 0.86, "learning_rate": 0.000384, "loss": 0.5239, "step": 288 }, { "epoch": 0.87, "learning_rate": 0.0003853333333333334, "loss": 0.406, "step": 289 }, { "epoch": 0.87, "learning_rate": 0.00038666666666666667, "loss": 0.5812, "step": 290 }, { "epoch": 0.87, "learning_rate": 0.000388, "loss": 0.621, "step": 291 }, { "epoch": 0.87, "learning_rate": 0.0003893333333333334, "loss": 0.6048, "step": 292 }, { "epoch": 0.88, "learning_rate": 0.0003906666666666667, "loss": 0.4498, "step": 293 }, { "epoch": 0.88, "learning_rate": 0.000392, "loss": 0.6144, "step": 294 }, { "epoch": 0.88, "learning_rate": 0.0003933333333333333, "loss": 0.7374, "step": 295 }, { "epoch": 0.89, "learning_rate": 0.0003946666666666667, "loss": 0.5784, "step": 296 }, { "epoch": 0.89, "learning_rate": 0.00039600000000000003, "loss": 0.5084, "step": 297 }, { "epoch": 0.89, "learning_rate": 0.00039733333333333336, "loss": 0.5633, "step": 298 }, { "epoch": 0.9, "learning_rate": 0.0003986666666666667, "loss": 0.5172, "step": 299 }, { "epoch": 0.9, "learning_rate": 0.0004, "loss": 0.6737, "step": 300 }, { "epoch": 0.9, "eval_loss": 0.5059300065040588, "eval_runtime": 39.1035, "eval_samples_per_second": 41.659, "eval_steps_per_second": 20.842, "step": 300 }, { "epoch": 0.9, "learning_rate": 0.0003999979972589652, "loss": 0.6431, "step": 301 }, { "epoch": 0.9, "learning_rate": 0.00039999198907597047, "loss": 0.6727, "step": 302 }, { "epoch": 0.91, "learning_rate": 0.00039998197557134424, "loss": 0.4213, "step": 303 }, { "epoch": 0.91, "learning_rate": 0.00039996795694563096, "loss": 0.4473, "step": 304 }, { "epoch": 0.91, "learning_rate": 0.0003999499334795875, "loss": 0.5899, "step": 305 }, { "epoch": 0.92, "learning_rate": 0.0003999279055341771, "loss": 0.414, "step": 306 }, { "epoch": 0.92, "learning_rate": 0.0003999018735505626, "loss": 0.4664, "step": 307 }, { "epoch": 0.92, "learning_rate": 0.0003998718380500971, "loss": 0.6036, "step": 308 }, { "epoch": 0.93, "learning_rate": 0.00039983779963431395, "loss": 0.5764, "step": 309 }, { "epoch": 0.93, "learning_rate": 0.00039979975898491447, "loss": 0.4595, "step": 310 }, { "epoch": 0.93, "learning_rate": 0.0003997577168637543, "loss": 0.591, "step": 311 }, { "epoch": 0.93, "learning_rate": 0.00039971167411282835, "loss": 0.4327, "step": 312 }, { "epoch": 0.94, "learning_rate": 0.0003996616316542537, "loss": 0.4061, "step": 313 }, { "epoch": 0.94, "learning_rate": 0.00039960759049025105, "loss": 0.5463, "step": 314 }, { "epoch": 0.94, "learning_rate": 0.00039954955170312504, "loss": 0.7175, "step": 315 }, { "epoch": 0.95, "learning_rate": 0.00039948751645524236, "loss": 0.6533, "step": 316 }, { "epoch": 0.95, "learning_rate": 0.0003994214859890082, "loss": 0.5988, "step": 317 }, { "epoch": 0.95, "learning_rate": 0.00039935146162684205, "loss": 0.5692, "step": 318 }, { "epoch": 0.96, "learning_rate": 0.0003992774447711503, "loss": 0.5004, "step": 319 }, { "epoch": 0.96, "learning_rate": 0.000399199436904299, "loss": 0.459, "step": 320 }, { "epoch": 0.96, "eval_loss": 0.49676987528800964, "eval_runtime": 39.1916, "eval_samples_per_second": 41.565, "eval_steps_per_second": 20.795, "step": 320 }, { "epoch": 0.96, "learning_rate": 0.0003991174395885838, "loss": 0.532, "step": 321 }, { "epoch": 0.96, "learning_rate": 0.0003990314544661984, "loss": 0.4235, "step": 322 }, { "epoch": 0.97, "learning_rate": 0.00039894148325920223, "loss": 0.502, "step": 323 }, { "epoch": 0.97, "learning_rate": 0.0003988475277694856, "loss": 0.5263, "step": 324 }, { "epoch": 0.97, "learning_rate": 0.00039874958987873364, "loss": 0.5009, "step": 325 }, { "epoch": 0.98, "learning_rate": 0.00039864767154838864, "loss": 0.6524, "step": 326 }, { "epoch": 0.98, "learning_rate": 0.0003985417748196108, "loss": 0.731, "step": 327 }, { "epoch": 0.98, "learning_rate": 0.00039843190181323746, "loss": 0.4875, "step": 328 }, { "epoch": 0.99, "learning_rate": 0.00039831805472974037, "loss": 0.3963, "step": 329 }, { "epoch": 0.99, "learning_rate": 0.00039820023584918174, "loss": 0.7317, "step": 330 }, { "epoch": 0.99, "learning_rate": 0.0003980784475311686, "loss": 0.5558, "step": 331 }, { "epoch": 0.99, "learning_rate": 0.00039795269221480574, "loss": 0.5645, "step": 332 }, { "epoch": 1.0, "learning_rate": 0.00039782297241864635, "loss": 0.6321, "step": 333 }, { "epoch": 1.0, "learning_rate": 0.000397689290740642, "loss": 0.431, "step": 334 } ], "logging_steps": 1, "max_steps": 1002, "num_train_epochs": 3, "save_steps": 500, "total_flos": 9.448895634934333e+17, "trial_name": null, "trial_params": null }