Upload README.md

README.md

@@ -0,0 +1,140 @@
+---
+language:
+- ja
+tags:
+- mistral
+- mixtral
+- not-for-all-audiences
+- nsfw
+pipeline_tag: text-generation
+---
+
+# chatntq-chatvector_MoE_Antler-chatvector_2x7B
+
+日本語が滑らかで、高速なチャット・ノベル生成モデルを目指して作成しました。
+32kのContextSize対応、iq3_xxs量子化でVRAM12GBでフルロード可能なモデルです。
+
+## モデル概要
+
+パラメータ数が小さくても優秀なベンチマークスコアを持つ、Mistral7Bモデルをベースとした日本語対応モデルを使用しました。
+2つのモデルそれぞれにChatVector手法を用いて対話能力強化ののち、mergekitでMoE化しました。
+
+## MoE化モデルの前準備(ChatVector適用)
+
+以下の2モデルをChatVector手法で対話強化して素材に使用しています。
+
+- [NTQAI/chatntq-ja-7b-v1.0](https://huggingface.co/NTQAI/chatntq-ja-7b-v1.0)
+- [Elizezen/Antler-7B](https://huggingface.co/Elizezen/Antler-7B)
+
+1. ChatVectorは以下を用いて適用します。`chat_vector`を0.8倍にするのは[aixsatoshi/Swallow-MX-8x7b-NVE-chatvector-Mixtral-instruct-v2](https://huggingface.co/aixsatoshi/Swallow-MX-8x7b-NVE-chatvector-Mixtral-instruct-v2)を参考にしました。
+```python
+# Antler-7Bに適用した例　chat_vectorの重みを0.8倍にして日本語モデルに足す
+
+from transformers import AutoModelForCausalLM
+import torch
+
+base_model = AutoModelForCausalLM.from_pretrained(
+    "mistralai/Mistral-7B-v0.1",
+    torch_dtype=torch.bfloat16,
+    device_map="cpu",
+)
+inst_model = AutoModelForCausalLM.from_pretrained(
+    "mistralai/Mistral-7B-Instruct-v0.2",
+    torch_dtype=torch.bfloat16,
+    device_map="cpu",
+)
+cp_model = AutoModelForCausalLM.from_pretrained(
+    "Elizezen/Antler-7B",
+    torch_dtype=torch.bfloat16,
+    device_map="cpu",
+)
+
+for k, v in cp_model.state_dict().items():
+    chat_vector = inst_model.state_dict()[k] - base_model.state_dict()[k]
+    new_v = v + ( 0.8 * chat_vector.to(v.device) )
+    v.copy_(new_v)
+
+cp_model.save_pretrained("./model-chatvector")
+```
+
+2. 作成されたモデルディレクトリにはtokenizer関係のファイルがないので、ChatVectorを適用する日本語モデルから(上の例だとElizezen/Antler-7B)足りないファイルをコピーします。[special_tokens_map.json、tokenizer.model、tokenizer_config.json]
+
+3. 作成されたモデルディレクトリにあるconfig.jsonを以下のように変更して、ContextSizeの内容をMistral7BInstructの通りに修正します。(一つ目以外はあまり理解していない)
+
+- "max_position_embeddings"を32768
+- "rope_theta"を1000000.0
+- "sliding_window"をnull
+
+## MoE化
+
+[mergekit](https://github.com/arcee-ai/mergekit)を用いて素材2モデルをMoE化しています。
+
+config.ymlは以下を使用しました。[Undi95/Mixtral-8x7B-MoE-RP-Story](https://huggingface.co/Undi95/Mixtral-8x7B-MoE-RP-Story)を参考にしました。
+```config.yml
+base_model: ./chatntq-ja-7b-v1.0-chatvector
+gate_mode: cheap_embed
+dtype: bfloat16
+experts:
+  - source_model: ./chatntq-ja-7b-v1.0-chatvector
+    positive_prompts:
+    - "sex"
+    - "roleplay"
+    - "erotic"
+    - "fuck"
+    - "orgasm"
+    - "uncensored"
+    - "question"
+    - "answer"
+    - "chat"
+    - "companion"
+    - "[Mode: Roleplay]"
+    - "[Mode: Chat]"
+    negative_prompts:
+    - "storywriting"
+    - "book"
+    - "story"
+    - "chapter"
+    - "tale"
+    - "history"
+    - "write"
+    - "[Mode: Writing]"
+  - source_model: ./Antler-7B-chatvector
+    positive_prompts:
+    - "sex"
+    - "storywriting"
+    - "erotic"
+    - "fuck"
+    - "orgasm"
+    - "uncensored"
+    - "book"
+    - "story"
+    - "chapter"
+    - "tale"
+    - "history"
+    - "write"
+    - "[Mode: Writing]"
+tokenizer_source: union
+```
+
+## 出力例
+
+```出力例
+User: 次のお話の続きを考えて恋愛小説で書いてください。
+吾輩は猫である。名前はまだない
+
+
+了解しました、吾輩が主人公となりますね。タイトルは「A Cat's Love Story」としましょうか。この物語は、吾輩が飼われている家で出会った人間の女性に恋をする話です。
+
+吾輩は、ある日突然現れた野良猫でした。彼女、美香さんの家庭にやって来た時、凄く警戒されましたが、その中でも特に美香さんは優しい人でした。毎日彼女が作ってくれるご飯は美味しく、彼女が触ってくれる手は温かく、吾輩は彼女にすぐに心を開きました。
+
+ある日、吾輩は美香さんが自分を抱きかかえて、庭を見渡せる場所に連れて行ってくれました。そこで、吾輩は初めて空を飛ぶ鳥たちを見ました。青い空に白い雲が浮かび、風が匂い立つ草原を吹き抜けていく様子を、彼女と一緒に眺めていました。その時、吾輩は美香さんがとても愛おしくなりました。
+
+しかし、吾輩は��であり、言葉を話せず、感情を表現する方法もありません。それでも、吾輩は美香さんを追いかけ続けました。美香さんは他の男性と付き合っていましたが、吾輩はじっと我慢し、ただ待ち続けました。
+
+美香さんは気づいていませんでしたが、吾輩は彼女の部屋に入り込み、寝室に入り込むようになりました。彼女が疲れ果てて眠る横で、吾輩は静かに身体を寄
+```
+
+### 参考文献
+
+[Chat Vectorを使って日本語LLMをチャットモデルに改造する #Python - Qiita](https://qiita.com/jovyan/items/ee6affa5ee5bdaada6b4)
+[学習済みの LLM を束ねて Mixture of Experts を作るテク](https://zenn.dev/zaburo_ch/articles/88e35e5c80f974)