Update README.md
Browse files
README.md
CHANGED
|
@@ -61,7 +61,7 @@ cp_model.save_pretrained("./model-chatvector")
|
|
| 61 |
|
| 62 |
2. 作成されたモデルディレクトリにはtokenizer関係のファイルがないので、ChatVectorを適用する日本語モデルから(上の例だとElizezen/Antler-7B)足りないファイルをコピーします。[special_tokens_map.json、tokenizer.model、tokenizer_config.json]
|
| 63 |
|
| 64 |
-
3. 作成されたモデルディレクトリにあるconfig.jsonを以下のように変更して、ContextSizeの内容を
|
| 65 |
|
| 66 |
- `"max_position_embeddings"`を`32768`
|
| 67 |
- `"rope_theta"`を`1000000.0`
|
|
|
|
| 61 |
|
| 62 |
2. 作成されたモデルディレクトリにはtokenizer関係のファイルがないので、ChatVectorを適用する日本語モデルから(上の例だとElizezen/Antler-7B)足りないファイルをコピーします。[special_tokens_map.json、tokenizer.model、tokenizer_config.json]
|
| 63 |
|
| 64 |
+
3. 作成されたモデルディレクトリにあるconfig.jsonを以下のように変更して、ContextSizeの内容をMistral7B-Instructの通りに修正します。(一つ目以外はあまり理解していない)
|
| 65 |
|
| 66 |
- `"max_position_embeddings"`を`32768`
|
| 67 |
- `"rope_theta"`を`1000000.0`
|