Update app.py

app.py

@@ -13,8 +13,8 @@ model = AutoModelForCausalLM.from_pretrained(
   torch_dtype=torch.float16,
   device_map="sequential",
   trust_remote_code=True,
-  offload_folder="offload",  # オフロードフォルダの指定
-  offload_state_dict=True  # 必要に応じてstate_dictをオフロード
+  #offload_folder="offload",  # オフロードフォルダの指定
+  #offload_state_dict=True  # 必要に応じてstate_dictをオフロード
 )
 
 TITLE = "<h1><center>Tanuki-8x8B-dpo-v1.0-AWQ Chat webui</center></h1>"
@@ -70,10 +70,6 @@ def stream_chat(message: str, history: list, temperature: float, max_new_tokens:
         temperature=temperature,
         eos_token_id=[128001, 128009],
     )
-
-    # `inputs` を直接渡すのではなく、不要な key を取り除いた後に渡す
-    input_data = {key: value for key, value in inputs.items() if key != 'token_type_ids'}
-    generate_kwargs.update(input_data)
     
     thread = Thread(target=model.generate, kwargs=generate_kwargs)
     thread.start()