Create app.py

app.py

@@ -0,0 +1,36 @@
+import gradio as gr
+from transformers import pipeline
+
+# Cargar el modelo
+model_name = "google/gemma-2-27b-it"
+generator = pipeline("text-generation", model=model_name, device=0 if torch.cuda.is_available() else -1)
+
+# Función para procesar la entrada y generar la respuesta
+def generate_response(text):
+    output = generator(text, max_length=512, num_return_sequences=1)
+    response = {
+        "choices": [
+            {
+                "text": output[0]['generated_text'],
+                "index": 0,
+                "logprobs": None,
+                "finish_reason": "stop"
+            }
+        ],
+        "id": "req-12345",  # Reemplazar con un ID único
+        "model": model_name,
+        "created": int(time.time())
+    }
+    return response
+
+# Interfaz Gradio
+iface = gr.Interface(
+    fn=generate_response,
+    inputs="text",
+    outputs="json",
+    title="API compatible con OpenAI",
+    description="Introduce texto para obtener una respuesta del modelo Gemma."
+)
+
+# Ejecutar la interfaz
+iface.launch()