DanskGPT-tiny
![](/mhenrichsen/danskgpt-tiny/resolve/main/tiny-danskgpt.png)
DanskGPT-tiny er en 1,1 milliard parametre LLaMA baseret LLM. Træningen er en fortsættelse af TinyLLaMA.
Modellen er trænet på 8 milliarder tokens af dansk syntetisk tekst.
Denne model er en såkaldt "foundation/completion" model, og er derfor ikke beregnet til at chatte med.
Inferens
Ved brug af vLLM.
pip install vllm
from vllm import LLM, SamplingParams
sampling_params = SamplingParams(temperature=0.8, top_p=0.95, max_tokens=512)
llm = LLM(model="mhenrichsen/danskgpt-tiny")
while True:
prompt = input("Skriv: ")
outputs = llm.generate(prompt, sampling_params)
for output in outputs:
prompt = output.prompt
generated_text = output.outputs[0].text
print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")
Brug for hjælp?
Har du spørgsmål eller brug for hjælp til LLM'er eller automatisering af tekstbaserede opgaver, så kontakt mig gerne.
/Mads
- Downloads last month
- 25
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.