Update app.py

app.py

@@ -11,15 +11,15 @@ from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStream
 
 MAX_MAX_NEW_TOKENS = 2048
 DEFAULT_MAX_NEW_TOKENS = 1024
-MAX_INPUT_TOKEN_LENGTH = int(os.getenv("MAX_INPUT_TOKEN_LENGTH", "8192"))
+MAX_INPUT_TOKEN_LENGTH = int(os.getenv("MAX_INPUT_TOKEN_LENGTH", "2048"))
 
 if torch.cuda.is_available():
-    model_id = "google/gemma-2-9b-it"
+    model_id = "pints-ai/1.5-Pints-2K-v0.1"
     model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="cuda")
     tokenizer = AutoTokenizer.from_pretrained(model_id)
 
 
-@spaces.GPU(duration=160)
+@spaces.GPU(duration=60)
 def generate(
     message: str,
     chat_history: list[tuple[str, str]],
@@ -64,7 +64,7 @@ def generate(
 chat_interface = gr.ChatInterface(
     fn=generate,
     chatbot=gr.Chatbot(height=450,
-                      label="google/gemma-2-9b-it",
+                      label="pints-ai/1.5-Pints-2K-v0.1",
                       show_share_button=True,
                       # avatar_images=(None, 'geitje-logo.jpg')
                       ),
@@ -108,40 +108,60 @@ chat_interface = gr.ChatInterface(
         ),
     ],
     examples=[
-        ["""Vraagje: welk woord hoort er niet in dit rijtje thuis: "auto, vliegtuig, geit, bus"?"""],
-        ["Schrijf een nieuwsbericht voor De Speld over de inzet van een kudde geiten door het Nederlands Forensisch Instituut"],
-        ["Wat zijn 3 leuke dingen om te doen als ik een weekendje naar Friesland ga?"],
-        ["Met wie trad clown Bassie op?"],
-        ["Kan je naar de maan fietsen?"],
-        ["Wat is het belang van open source taalmodellen?"],
+        ["""What word does not belong in this sequence: "car, airplane, goat, bus"?"""],
+        ["Write a news article for The Onion about the application of a herd of goats by the Netherlands Forensic Institute"],
+        ["Wat are 3 nice things to do when I visit Amsterdam for a weekend?"],
+        ["Who is the partner of Batman?"],
+        ["Can you cycle to the moon?"],
+        ["What is the importance of open source language models?"],
         ["""```
-Wortelverkopers krijgen miljoenenboete voor ongeoorloofd samenspannen
-Door onze economieredactie
-14 dec 2023 om 12:58
-Update: 20 uur geleden
-162 reacties
+Auckland Zoo otter Jin has been found alive
 
-Delen
-Toezichthouder ACM heeft een Nederlands wortelkartel aangepakt. Vier telers en verkopers van wortelen krijgen samen ruim 2,5 miljoen euro boete vanwege ongeoorloofde afspraken over het verdelen van de markt.
-Het gaat om telers en verkopers Laarakker, VanRijsingen, Veco en Verduyn. De vier bedrijven verkopen waspeen en Parijse wortelen aan conserven- en diepvriesfabrikanten in Nederland, België en Duitsland. Waspeen wordt vaak verkocht in potten of blikken in een mix met erwtjes.
+Monday, July 10, 2006
+New Zealand
+Related articles
 
-De vier bedrijven hadden in 2018 afgesproken dat ze tien jaar lang niet overal de concurrentie met elkaar zouden aangaan. Zo zou Veco tien jaar lang geen waspeen telen of verkopen. Daarnaast zouden Laarakker, VanRijsingen en Verduyn juist de Parijse wortelen links laten liggen.
+    9 May 2023: First NASA TROPICS satellites launch to monitor tropical storms
+    31 January 2023: "Energized and excited": Chris Hipkins becomes 41st Prime Minister of New Zealand
+    12 February 2022: US warns its citizens to leave Ukraine as Russia could invade 'anytime'
+    25 November 2021: New Zealand raises interest rates in second straight month to 0.75%
+    5 September 2021: At least six injured after stabbing in New Zealand supermarket
 
-Ook betaalden de andere wortelverkopers Veco ter compensatie van de afspraken. Laarakker en Veco maakten ook nog afzonderlijke afspraken over de levering van Parijse wortelen aan Duitse klanten.
+Location of New Zealand
+Collaborate!
 
-Zulke afspraken zijn verboden. Als concurrentie door die samenwerking achterwege blijft en er dus sprake is van een kartel, betalen kopers mogelijk een hogere prijs, stelt de ACM.
+    Pillars of Wikinews writing
+    Writing an article
 
-Twee van de wortelbedrijven werkten mee door meer informatie over de ongeoorloofde afspraken te delen met de toezichthouder. Daardoor kregen zij een lagere boete.
+New Zealand
+
+Jin, the short-clawed Asiatic otter who escaped from the Auckland Zoo almost a month ago, has been found alive.
+
+Jin escaped from the zoo by digging through two walls and scaling a 1.8 metre high barrier around her enclosure.
+
+She successfully evaded capture despite numerous sightings around Auckland's inner harbours.
+
+The New Zealand Department of Conservation says a tip-off from a yachtie helped bring an escaped zoo otter's days of freedom to an end this morning, the yachtie spotted her at Islington Bay, at the causeway between Rangitoto and Motutapu island.
+
+Auckland Zoo senior vet Dr Richard Jakob-Hoff said Jin has “…got to take her time and relax in her own time. She is in quite good condition and is well hydrated... She's lost a lot of weight but given that she is really in very good condition."
+
+She has abrasions on her head, another under her tail and on her back paws.
+
+When Jin first left the enclosure she weighed 3.6-kilograms (kg) and when she was caught she weighed 2.5 kg.
+
+She is currently in quarantine for 30 days to make sure she is free of any infections that she could have caught from the outside world. The infection she would most likely get would be salmonella from the raw food she has been eating.
+
+"The most common thing in these types of animals is that toxoplasmosis can cause blindness and can get into the brain and cause fits... She has been very stressed and that is what I am concerned about." said Dr Richard Jakob-Hoff. 
 ```
-Vat bovenstaand artikel samen"""]
+Summarize the above article"""]
     ],
-    title="google/gemma-2-9b-it",
-    description="""google/gemma-2-9b-it quick demo""",
-    submit_btn="Genereer",
+    title="pints-ai/1.5-Pints-2K-v0.1",
+    description="""pints-ai/1.5-Pints-2K-v0.1 quick demo""",
+    submit_btn="Generate",
     stop_btn="Stop",
-    retry_btn="🔄 Opnieuw",
-    undo_btn="↩️ Ongedaan maken",
-    clear_btn="🗑️ Wissen",
+    retry_btn="🔄 Retry",
+    undo_btn="↩️ Undo",
+    clear_btn="🗑️ Clear",
 )
 
 with gr.Blocks(css="style.css") as demo: