Update README.md
Browse files
README.md
CHANGED
@@ -60,7 +60,122 @@ output = model(**encoded_input)
|
|
60 |
|
61 |
## Training data
|
62 |
|
63 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
64 |
```
|
65 |
```
|
66 |
|
|
|
60 |
|
61 |
## Training data
|
62 |
|
63 |
+
非常全的文言文(古文)-现代文平行语料,基本涵盖了大部分经典古籍著作。
|
64 |
+
|
65 |
+
原始爬取的数据是篇章级对齐,经过脚本分句(按照句号分号感叹号问号划分)以及人工校对,形成共计约96万句对。目录bitext下是文言文-现代文对齐的平行数据。此外,目录source下是文言文单语数据,target下是现代文单语数据,这两个目录下的文件内容按行对齐。
|
66 |
+
|
67 |
+
以下为数据统计信息。其中,短篇章中包括了《论语》、《孟子》、《左传》等篇幅较短的古籍,已和《资治通鉴》合并。
|
68 |
+
|
69 |
+
|书名|句数
|
70 |
+
|:--|:--|
|
71 |
+
短篇章和资治通鉴|348727
|
72 |
+
元史|21182
|
73 |
+
北史|25823
|
74 |
+
北书|10947
|
75 |
+
南史|13838
|
76 |
+
南齐书|13137
|
77 |
+
史记|17701
|
78 |
+
后汉书|17753
|
79 |
+
周书|14930
|
80 |
+
太平广记|59358
|
81 |
+
宋书|23794
|
82 |
+
宋史|77853
|
83 |
+
徐霞客游记|22750
|
84 |
+
新五代史|10147
|
85 |
+
新唐书|12359
|
86 |
+
旧五代史|11377
|
87 |
+
旧唐书|29185
|
88 |
+
明史|85179
|
89 |
+
晋书|21133
|
90 |
+
梁书|14318
|
91 |
+
水经注全|11630
|
92 |
+
汉书|37622
|
93 |
+
辽史|9278
|
94 |
+
金史|13758
|
95 |
+
陈书|7096
|
96 |
+
隋书|8204
|
97 |
+
魏书|28178
|
98 |
+
**总计**|**967257**
|
99 |
+
|
100 |
+
《短篇章和资治通鉴》中各书籍统计如下(此部分数据量不完全准确):
|
101 |
+
|
102 |
+
|书名|句数
|
103 |
+
|:--|:--|
|
104 |
+
资治通鉴|7.95w
|
105 |
+
左传|1.09w
|
106 |
+
大学章句集注| 86
|
107 |
+
反经| 4211
|
108 |
+
公孙龙子| 73
|
109 |
+
管子| 6266
|
110 |
+
鬼谷子| 385
|
111 |
+
韩非子| 4325
|
112 |
+
淮南子| 2669
|
113 |
+
黄帝内经| 6162
|
114 |
+
皇帝四经| 243
|
115 |
+
将苑| 100
|
116 |
+
金刚经| 193
|
117 |
+
孔子家语| 138
|
118 |
+
老子| 398
|
119 |
+
了凡四训| 31
|
120 |
+
礼记| 4917
|
121 |
+
列子| 1735
|
122 |
+
六韬| 693
|
123 |
+
六祖坛经| 949
|
124 |
+
论语| 988
|
125 |
+
吕氏春秋| 2473
|
126 |
+
孟子| 1654
|
127 |
+
梦溪笔谈| 1280
|
128 |
+
墨子| 2921
|
129 |
+
千字文| 82
|
130 |
+
清史稿| 1604
|
131 |
+
三字经| 234
|
132 |
+
山海经| 919
|
133 |
+
伤寒论| 712
|
134 |
+
商君书| 916
|
135 |
+
尚书| 1048
|
136 |
+
世说新语| 3044
|
137 |
+
司马法| 132
|
138 |
+
搜神记| 1963
|
139 |
+
搜神后记| 540
|
140 |
+
素书| 61
|
141 |
+
孙膑兵法| 230
|
142 |
+
孙子兵法| 338
|
143 |
+
天工开物| 807
|
144 |
+
尉缭子| 226
|
145 |
+
文昌孝经| 194
|
146 |
+
文心雕龙| 1388
|
147 |
+
吴子| 136
|
148 |
+
孝经| 102
|
149 |
+
笑林广记| 1496
|
150 |
+
荀子| 3131
|
151 |
+
颜氏家训| 510
|
152 |
+
仪礼| 2495
|
153 |
+
易传| 711
|
154 |
+
逸周书| 1505
|
155 |
+
战国策| 3318
|
156 |
+
贞观政要| 1291
|
157 |
+
中庸| 206
|
158 |
+
周礼| 2026
|
159 |
+
周易| 460
|
160 |
+
庄子| 1698
|
161 |
+
百战奇略| 800
|
162 |
+
论衡| 1.19w
|
163 |
+
智囊|2165
|
164 |
+
罗织经|188
|
165 |
+
朱子家训|31
|
166 |
+
抱朴子|217
|
167 |
+
地藏经|547
|
168 |
+
国语|3841
|
169 |
+
容斋随笔|2921
|
170 |
+
幼学琼林|1372
|
171 |
+
三略|268
|
172 |
+
围炉夜话|387
|
173 |
+
冰鉴|120
|
174 |
+
|
175 |
+
|
176 |
+
如果您使用该语料库,请注明出处:https://github.com/NiuTrans/Classical-Modern
|
177 |
+
|
178 |
+
感谢为该语料库做出贡献的成员:丁佳鹏、杨文权、刘晓晴、曹润柘、罗应峰。
|
179 |
```
|
180 |
```
|
181 |
|