kogrammar-distil / README.md
theSOL1's picture
Update README.md
8110d48
|
raw
history blame
815 Bytes
metadata
language: ko
license: mit
tags:
  - bart
  - grammar

kogrammar-distil

Dataset: 국립국어원 맞춤법 교정 말뭉치

Backbone Model:

Contributors:

GitHub Repo:

Train Method

전체 데이터셋 중 약 67.5%를 학습데이터로 활용하여 학습함.
SFT Distillation을 이용해 kogrammar-base 모델의 Decoder Layer를 6개에서 3개로 줄여 다시 학습시킴.

Metric

BLEU-2 ROUGE-2 F1
77.8 % 55.0 %