Update app.py

app.py

@@ -11,8 +11,8 @@ tokenizer = AutoTokenizer.from_pretrained(model_id)
 model = AutoModelForCausalLM.from_pretrained(
   model_id,
   torch_dtype=torch.float16,
-  device_map="cuda",
-  trust_remote_code=True,
+  device_map="auto",
+  ttrust_remote_code=True,
   use_flash_attention_2=True,
   #offload_folder="offload",  # オフロードフォルダの指定
   #offload_state_dict=True  # 必要に応じてstate_dictをオフロード