File size: 2,637 Bytes
20605d1
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
---
language:
- ko
tags:
- biology
---
# Model Card for Model ID


์ด ๋ชจ๋ธ์€ KM-BERT์˜ ๋ชจ๋ธ์„ ๋‹ค์šด ๋ฐ›์•„, ์ž„์˜๋กœ ํ—ˆ๊น…ํŽ˜์ด์Šค ๋ชจ๋ธ์˜ ํ˜•ํƒœ๋กœ ์‚ฌ์šฉํ•˜๊ธฐ ์ข‹๊ฒŒ
๋ณ€ํ™˜ํ•œ ๋ชจ๋ธ ์ž…๋‹ˆ๋‹ค, ๋ชจ๋ธ์€ ๊ทธ๋Œ€๋กœ์ด๋‚˜, ํ† ํฌ๋‚˜์ด์ €๋ฅผ ํ—ˆ๊น…ํŽ˜์ด์Šค์— ๋งž๊ฒŒ ์กฐ์ •ํ•˜๋Š” ๊ณผ์ •์—์„œ ์˜ค๋ฅ˜๊ฐ€ ์žˆ์„ ์ˆ˜๋„ ์žˆ์Œ์„ ์•Œ๋ฆฝ๋‹ˆ๋‹ค
KM-BERT๋ฅผ ์‚ฌ์šฉํ•ด๋ณผ ์ˆ˜ ์žˆ๊ฒŒ ๊ณต์œ ํ•ด์ฃผ์‹  ์ €์ž๋ถ„๊ป˜ ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค


## Model Details


bing ํ™œ์šฉ ์š”์•ฝ:

์ด ๋ฌธ์„œ๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์€ ๋‚ด์šฉ์„ ๋‹ค๋ฃน๋‹ˆ๋‹ค:

ํ•œ๊ตญ์–ด ์˜๋ฃŒ ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ๋ฅผ ์œ„ํ•œ ์‚ฌ์ „ ํ›ˆ๋ จ๋œ BERT ๋ชจ๋ธ. 
์ด ๋ชจ๋ธ์€ ์˜๋ฃŒ ๋ถ„์•ผ์—์„œ ์‚ฌ์šฉ๋˜๋Š” ํ•œ๊ตญ์–ด ํ…์ŠคํŠธ๋ฅผ ๋ถ„์„ํ•˜๊ธฐ ์œ„ํ•ด KR-BERT ๋ชจ๋ธ์„ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•œ๊ตญ์–ด ์˜๋ฃŒ ์ฝ”ํผ์Šค๋กœ ์‚ฌ์ „ ํ›ˆ๋ จํ•œ KM-BERT๋ผ๊ณ  ํ•ฉ๋‹ˆ๋‹ค. 
์ด ๋ชจ๋ธ์€ ์˜๋ฃŒ ๊ต๊ณผ์„œ, ๊ฑด๊ฐ• ์ •๋ณด ๋‰ด์Šค, ์˜๋ฃŒ ์—ฐ๊ตฌ ๋…ผ๋ฌธ ๋“ฑ ์„ธ ๊ฐ€์ง€ ์œ ํ˜•์˜ ๋ฌธ์„œ๋กœ ๊ตฌ์„ฑ๋œ ์•ฝ 1์–ต 1์ฒœ 6๋ฐฑ๋งŒ ๋‹จ์–ด์˜ ํ•œ๊ตญ์–ด ์˜๋ฃŒ ์ฝ”ํผ์Šค๋ฅผ ์‚ฌ์šฉํ–ˆ์Šต๋‹ˆ๋‹ค.

๋‚ด๋ถ€ ํ‰๊ฐ€์™€ ์™ธ๋ถ€ ํ‰๊ฐ€. 
์ด ๋ชจ๋ธ์€ MLM๊ณผ NSP๋ผ๋Š” ๋‘ ๊ฐ€์ง€ ๋น„์ง€๋„ ์‚ฌ์ „ ํ›ˆ๋ จ ๊ณผ์ œ๋ฅผ ์ˆ˜ํ–‰ํ•˜๊ณ , ์ƒˆ๋กœ์šด ํ•œ๊ตญ์–ด ์˜๋ฃŒ ์ฝ”ํผ์Šค์™€ MedSTS ๋ฐ์ดํ„ฐ์…‹์„ ์ด์šฉํ•˜์—ฌ ์–ธ์–ด ์ดํ•ด ๋Šฅ๋ ฅ์„ ๋‚ด๋ถ€ ํ‰๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. 
๋˜ํ•œ, ํ•œ๊ตญ์–ด ์˜๋ฃŒ ์˜๋ฏธ๋ก ์  ํ…์ŠคํŠธ ์œ ์‚ฌ๋„(MedSTS) ๋ฐ์ดํ„ฐ์…‹๊ณผ ํ•œ๊ตญ์–ด ์˜๋ฃŒ ๊ฐœ์ฒด ์ธ์‹(NER) ๋ฐ์ดํ„ฐ์…‹์„ ์ด์šฉํ•˜์—ฌ ํ•˜๋ฅ˜ ๊ณผ์ œ์— ๋Œ€ํ•œ ์„ฑ๋Šฅ์„ ์™ธ๋ถ€ ํ‰๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. 
๊ฒฐ๊ณผ์ ์œผ๋กœ, KM-BERT๋Š” ๊ธฐ์กด์˜ ์–ธ์–ด ๋ชจ๋ธ๋“ค๋ณด๋‹ค ์šฐ์ˆ˜ํ•œ ์„ฑ๋Šฅ์„ ๋ณด์˜€์Šต๋‹ˆ๋‹ค.

์–ธ์–ด๋ณ„ ๋ฐ ๋ถ„์•ผ๋ณ„ ๊ด€์ . 
M-BERT๋Š” ๋‹ค์–‘ํ•œ ์–ธ์–ด์— ๋Œ€ํ•œ NLP ๊ณผ์ œ์— ๋†’์€ ์ „์ด์„ฑ์„ ๋ณด์ด์ง€๋งŒ, ์–ธ์–ด๋ณ„ BERT ๋ชจ๋ธ๋“ค์ด M-BERT๋ณด๋‹ค ๋” ๋‚˜์€ ์„ฑ๋Šฅ์„ ๋ณด์ธ๋‹ค๋Š” ๊ฒƒ์ด ์ฆ๋ช…๋˜์—ˆ์Šต๋‹ˆ๋‹ค
1. ํ•œ๊ตญ์–ด๋Š” ์˜์–ด์™€ ๊ฐ™์€ ์ธ๋„์œ ๋Ÿฝ์–ด์™€๋Š” ๋‹ค๋ฅธ ๋‹จ์–ด ์ˆœ์„œ๋ฅผ ๊ฐ€์ง€๊ณ  ์žˆ๊ธฐ ๋•Œ๋ฌธ์—, ํ•œ๊ตญ์–ด์— ํŠนํ™”๋œ BERT ๋ชจ๋ธ์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.
2. ๋˜ํ•œ, SciBERT๋‚˜ LEGAL-BERT์™€ ๊ฐ™์€ ๋ถ„์•ผ๋ณ„ BERT ์ž„๋ฒ ๋”ฉ์ด BERT๋ณด๋‹ค ์ „๋ฌธ ์šฉ์–ด์™€ ์šฉ๋ฒ•์— ๋Œ€ํ•œ ์ดํ•ด๋ ฅ์„ ํ–ฅ์ƒ์‹œํ‚จ๋‹ค๋Š” ๊ฒƒ์ด ๋ฐํ˜€์กŒ์Šต๋‹ˆ๋‹ค.
3. ์ด๋Ÿฌํ•œ ์—ฐ๊ตฌ ๊ฒฐ๊ณผ๋“ค์€ ํ•œ๊ตญ์–ด ์˜๋ฃŒ ๋ถ„์•ผ์— ์ ํ•ฉํ•œ BERT ๋ชจ๋ธ ๊ฐœ๋ฐœ์˜ ํ•„์š”์„ฑ๊ณผ ํšจ๊ณผ์„ฑ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.


### Model Sources [optional]


- **Repository:** https://github.com/KU-RIAS/KM-BERT-Korean-Medical-BERT
- **Paper:** https://www.nature.com/articles/s41598-022-17806-8


## Citation [optional]


@article{KMBERT,
    title={KM-BERT: A Pre-trained BERT for Korean Medical Natural Language Processing},
    author={TBD},
    year={TBD},
    journal={TBD},
    volume={TBD}
  }