README.md

---
language: ko
license: mit
tags:
  - bart
  - grammar
---

# kogrammar-distil

Dataset: 국립국어원 맞춤법 교정 말뭉치
<br>
<br>
**Backbone Model**: 
  - [kobart-base-v2](https://huggingface.co/gogamza/kobart-base-v2/blob/main/README.md)

**Contributors**: 
  - ChangGeon Kang: [NeverAsking](https://github.com/NeverAsking/)
  - Subin Park: [SOL1archive](https://github.com/SOL1archive/)

**GitHub Repo**: 
  - [SOL1archive/KoGrammar](https://github.com/SOL1archive/KoGrammar)

## Train Method
전체 데이터셋 중 약 67.5%를 학습데이터로 활용하여 학습함.
<br>
SFT Distillation을 이용해 [kogrammar-base](https://huggingface.co/theSOL1/kogrammar-base) 모델의 Decoder Layer를 6개에서 3개로 줄여 다시 학습시킴.

## Metric
|BLEU-2|ROUGE-2 F1|
|-|-|
|77.8 %|55.0 %|