|
--- |
|
language: zh |
|
datasets: c2m |
|
inference: |
|
parameters: |
|
max_length: 108 |
|
num_return_sequences: 1 |
|
do_sample: True |
|
widget: |
|
- text: "晋太元中，武陵人捕鱼为业。缘溪行，忘路之远近。忽逢桃花林，夹岸数百步，中无杂树，芳草鲜美，落英缤纷。渔人甚异之，复前行，欲穷其林。林尽水源，便得一山，山有小口，仿佛若有光。便舍船，从口入。初极狭，才通人。复行数十步，豁然开朗。土地平旷，屋舍俨然，有良田、美池、桑竹之属。阡陌交通，鸡犬相闻。其中往来种作，男女衣着，悉如外人。黄发垂髫，并怡然自乐。" |
|
example_title: "桃花源记" |
|
- text: "往者不可谏,来者犹可追。" |
|
example_title: "来者犹可追" |
|
- text: "逝者如斯夫！不舍昼夜。" |
|
example_title: "逝者如斯夫" |
|
|
|
|
|
--- |
|
|
|
|
|
# 文言文 to 现代文 |
|
|
|
## Model description |
|
|
|
|
|
## How to use |
|
使用 pipeline 调用模型: |
|
|
|
```python |
|
>>> from transformers import pipeline |
|
>>> model_checkpoint = "supermy/c2m" |
|
>>> translator = pipeline("translation", |
|
model=model_checkpoint, |
|
num_return_sequences=1, |
|
max_length=52, |
|
truncation=True,) |
|
|
|
>>> translator("往者不可谏,来者犹可追。") |
|
[{'translation_text': '过 去 的 事 情 不能 劝 谏 ， 未来 的 事 情 还 可以 追 回 来 。 如 果 过 去 的 事 情 不能 劝 谏 ， 那 么 ， 未来 的 事 情 还 可以 追 回 来 。 如 果 过 去 的 事 情'}] |
|
|
|
>>> translator("福兮祸所伏，祸兮福所倚。",do_sample=True) |
|
[{'translation_text': '幸 福 是 祸 患 所 隐 藏 的 ， 灾 祸 是 福 祸 所 依 托 的 。 这 些 都 是 幸 福 所 依 托 的 。 这 些 都 是 幸 福 所 带 来 的 。 幸 福 啊 ， 也 是 幸 福'}] |
|
|
|
>>> translator("成事不说，遂事不谏，既往不咎。", num_return_sequences=1,do_sample=True) |
|
[{'translation_text': '事 情 不 高 兴 ， 事 情 不 劝 谏 ， 过 去 的 事 就 不 会 责 怪 。 事 情 没 有 多 久 了 ， 事 情 没 有 多 久 ， 事 情 没 有 多 久 了 ， 事 情 没 有 多'}] |
|
|
|
>>> translator("逝者如斯夫！不舍昼夜。",num_return_sequences=1,max_length=30) |
|
[{'translation_text': '逝 去 的 人 就 像 这 样 啊 ， 不分 昼夜 地 去 追 赶 它 们 。 这 样 的 人 就 不 会 忘 记'}] |
|
|
|
``` |
|
Here is how to use this model to get the features of a given text in PyTorch: |
|
|
|
```python |
|
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM |
|
tokenizer = AutoTokenizer.from_pretrained("supermy/c2m") |
|
model = AutoModelForSeq2SeqLM.from_pretrained("supermy/c2m") |
|
text = "用你喜欢的任何文本替换我。" |
|
encoded_input = tokenizer(text, return_tensors='pt') |
|
output = model(**encoded_input) |
|
``` |
|
|
|
|
|
|
|
## Training data |
|
|
|
非常全的文言文（古文）-现代文平行语料，基本涵盖了大部分经典古籍著作。 |
|
|
|
原始爬取的数据是篇章级对齐，经过脚本分句（按照句号分号感叹号问号划分）以及人工校对，形成共计约96万句对。目录bitext下是文言文-现代文对齐的平行数据。此外，目录source下是文言文单语数据，target下是现代文单语数据，这两个目录下的文件内容按行对齐。 |
|
|
|
以下为数据统计信息。其中，短篇章中包括了《论语》、《孟子》、《左传》等篇幅较短的古籍，已和《资治通鉴》合并。 |
|
|
|
|书名|句数 |
|
|:--|:--| |
|
短篇章和资治通鉴|348727 |
|
元史|21182 |
|
北史|25823 |
|
北书|10947 |
|
南史|13838 |
|
南齐书|13137 |
|
史记|17701 |
|
后汉书|17753 |
|
周书|14930 |
|
太平广记|59358 |
|
宋书|23794 |
|
宋史|77853 |
|
徐霞客游记|22750 |
|
新五代史|10147 |
|
新唐书|12359 |
|
旧五代史|11377 |
|
旧唐书|29185 |
|
明史|85179 |
|
晋书|21133 |
|
梁书|14318 |
|
水经注全|11630 |
|
汉书|37622 |
|
辽史|9278 |
|
金史|13758 |
|
陈书|7096 |
|
隋书|8204 |
|
魏书|28178 |
|
**总计**|**967257** |
|
|
|
《短篇章和资治通鉴》中各书籍统计如下（此部分数据量不完全准确）： |
|
|
|
|书名|句数 |
|
|:--|:--| |
|
资治通鉴|7.95w |
|
左传|1.09w |
|
大学章句集注| 86 |
|
反经| 4211 |
|
公孙龙子| 73 |
|
管子| 6266 |
|
鬼谷子| 385 |
|
韩非子| 4325 |
|
淮南子| 2669 |
|
黄帝内经| 6162 |
|
皇帝四经| 243 |
|
将苑| 100 |
|
金刚经| 193 |
|
孔子家语| 138 |
|
老子| 398 |
|
了凡四训| 31 |
|
礼记| 4917 |
|
列子| 1735 |
|
六韬| 693 |
|
六祖坛经| 949 |
|
论语| 988 |
|
吕氏春秋| 2473 |
|
孟子| 1654 |
|
梦溪笔谈| 1280 |
|
墨子| 2921 |
|
千字文| 82 |
|
清史稿| 1604 |
|
三字经| 234 |
|
山海经| 919 |
|
伤寒论| 712 |
|
商君书| 916 |
|
尚书| 1048 |
|
世说新语| 3044 |
|
司马法| 132 |
|
搜神记| 1963 |
|
搜神后记| 540 |
|
素书| 61 |
|
孙膑兵法| 230 |
|
孙子兵法| 338 |
|
天工开物| 807 |
|
尉缭子| 226 |
|
文昌孝经| 194 |
|
文心雕龙| 1388 |
|
吴子| 136 |
|
孝经| 102 |
|
笑林广记| 1496 |
|
荀子| 3131 |
|
颜氏家训| 510 |
|
仪礼| 2495 |
|
易传| 711 |
|
逸周书| 1505 |
|
战国策| 3318 |
|
贞观政要| 1291 |
|
中庸| 206 |
|
周礼| 2026 |
|
周易| 460 |
|
庄子| 1698 |
|
百战奇略| 800 |
|
论衡| 1.19w |
|
智囊|2165 |
|
罗织经|188 |
|
朱子家训|31 |
|
抱朴子|217 |
|
地藏经|547 |
|
国语|3841 |
|
容斋随笔|2921 |
|
幼学琼林|1372 |
|
三略|268 |
|
围炉夜话|387 |
|
冰鉴|120 |
|
|
|
|
|
如果您使用该语料库，请注明出处：https://github.com/NiuTrans/Classical-Modern |
|
|
|
感谢为该语料库做出贡献的成员：丁佳鹏、杨文权、刘晓晴、曹润柘、罗应峰。 |
|
``` |
|
``` |
|
|
|
## Training procedure |
|
|
|
在英伟达16G显卡训练了 4 天整，共计68 次。 |
|
|
|
[文言文数据集](https://huggingface.co/datasets/supermy/Classical-Modern) 训练数据. Helsinki-NLP [Helsinki-NLP](Helsinki-NLP/opus-mt-zh-en) 模型: |
|
|
|
|
|
``` |
|
|
|
### entry and citation info |
|
|
|
``` |
|
|
|
``` |
