Files changed (1) hide show
  1. README.md +89 -1
README.md CHANGED
@@ -1,6 +1,94 @@
1
  ---
2
  library_name: transformers
 
 
 
 
 
3
  license: apache-2.0
 
 
4
  language:
5
  - es
6
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
  library_name: transformers
3
+ tags:
4
+ - unsloth
5
+ - LLMs-Aviation
6
+ - AI-Regulatory-Compliance
7
+ - RAC-AI-Colombia
8
  license: apache-2.0
9
+ datasets:
10
+ - somosnlp/ColombiaRAC_FullyCurated
11
  language:
12
  - es
13
+ widget:
14
+ - text: >
15
+ <bos><start_of_turn>system\n\nYou are a helpful AI assistant.\n\nResponde en formato json.\n\nEres un agente experto en la normativa aeronautica Colombiana.<end_of_turn>\n\n<start_of_turn>user\n\n¿Qué sucede con las empresas de servicios aéreos comerciales que no hayan actualizado su permiso de operación después del 31 de marzo de 2024?<end_of_turn>\n\n<start_of_turn>model
16
+ ---
17
+
18
+
19
+
20
+ # GemmaColRAC-AeroExpertV5 🛫
21
+
22
+ Este documento ofrece una visión detallada de `GemmaColRAC-AeroExpertV5`, la quinta iteración de nuestro modelo especializado en regulaciones aeronáuticas colombianas. Presenta un salto cualitativo con respecto a las versiones previas, exhibiendo mejoras en precisión y un uso de recursos de GPU más eficiente, reflejando nuestro compromiso con el desarrollo sostenible y de calidad de tecnologías de IA para la aviación.
23
+
24
+ <p align="center">
25
+ <img src="https://cdn-uploads.huggingface.co/production/uploads/6419c2f6b4adb0e101b17b6c/0undo4kZc7OtfGI5nnAa8.png" alt="Imagen del Reglamento Aeronáutico Colombiano" style="width: 40%; max-height: 550px;">
26
+ </p>
27
+
28
+
29
+ ## Metadatos del Nuevo Modelo
30
+
31
+ - **Nombre del Modelo:** GemmaColRAC-AeroExpertV4
32
+ - **Tipo de GPU:** NVIDIA GeForce RTX 3090
33
+ - **Tiempo Total de Entrenamiento:** 12607 segundos
34
+ - **Optimizador:** AdamW con Bitfitting y Neutrino Noise
35
+ - **Pasos Máximos:** 4904
36
+ - **Tamaño de Secuencia:** 2048
37
+ - **Tamaño de Lote por Dispositivo:** 2
38
+ - **Versión de Transformers:** 4.39.2
39
+ - **Framework de Optimización:** Unsloth 2024.4
40
+ - **Métodos de Cuantificación:** bf16 con gradient_accumulation_steps de 2
41
+ - **Función de Activación:** gelu_pytorch_tanh
42
+
43
+
44
+
45
+ ## Comparación con la Versión Anterior
46
+
47
+ La versión anterior de `GemmaColRAC-AeroExpertV4` utilizó una GPU NVIDIA A100-SXM4-40GB, con un tiempo de entrenamiento total de aproximadamente 50 minutos (3007 segundos). Operó con una tasa de aprendizaje de 0.00005 y utilizó un optimizador Paged AdamW 8bit. Además, se entrenó con un tamaño de lote por dispositivo de 1 y una versión de Transformers de 4.39.0.
48
+
49
+ Las diferencias clave con la versión actual incluyen:
50
+
51
+ - **Mejora en GPU:** Cambio de NVIDIA A100-SXM4-40GB a NVIDIA GeForce RTX 3090, ofreciendo un mejor rendimiento en el entrenamiento.
52
+ - **Tiempo de Entrenamiento:** Se incrementó para permitir una mayor fine-tuning del modelo, lo que resulta en una mejora de la precisión.
53
+ - **Tamaño de Lote:** Incremento del tamaño de lote por dispositivo de 1 a 2, permitiendo una optimización más eficiente.
54
+ - **Actualización de Optimizador:** Introducción de técnicas avanzadas como Bitfitting y Neutrino Noise para mejorar la convergencia del modelo.
55
+ - **Pasos Máximos:** Aumento significativo de los pasos máximos de 1638 a 4904, lo que sugiere una cobertura más amplia de los datos y un aprendizaje más profundo.
56
+
57
+ Estos cambios han resultado en una versión más robusta y eficiente de nuestro modelo, fortaleciendo su capacidad para asistir y proveer orientación en la regulación aeronáutica colombiana.
58
+
59
+ ## Evaluación
60
+
61
+ Para la evaluación de `GemmaColRAC-AeroExpertV4`, hemos habilitado plataformas para que expertos en el campo realicen pruebas. Estas plataformas proporcionan un entorno interactivo donde los usuarios pueden probar el modelo en varios escenarios de la normativa aeronáutica colombiana y verificar su rendimiento y precisión. Visita:
62
+
63
+ - [Evaluación de GemmaColRAC-AeroExpertV4](https://somosnlp-rac-col-v1.hf.space)
64
+
65
+ ## Impacto Ambiental
66
+
67
+ El desarrollo de `GemmaColRAC-AeroExpertV4` se ha llevado a cabo con un enfoque en la sostenibilidad. Hemos trabajado para optimizar la eficiencia y minimizar el impacto ambiental, lo que incluye una reducción en el consumo de energía y una disminución en la huella de carbono durante el proceso de entrenamiento de nuestro modelo. Esto no solo mejora la eficiencia operativa, sino que también apoya nuestros objetivos de responsabilidad ambiental.
68
+
69
+ ## Fine-Tuning del Modelo
70
+
71
+ Para adaptar y mejorar `GemmaColRAC-AeroExpertV4` a tareas específicas o conjuntos de datos, proporcionamos un notebook de Jupyter que guía a los usuarios a través del proceso de fine-tuning.
72
+
73
+ El notebook incluye los siguientes pasos:
74
+
75
+ - Preparación del entorno: configuración de las librerías necesarias y verificación de la disponibilidad del hardware adecuado (por ejemplo, GPU).
76
+ - Carga de los datos: instrucciones para importar tu conjunto de datos personalizado.
77
+ - Preprocesamiento: técnicas para preparar y procesar los datos antes del entrenamiento.
78
+ - Fine-Tuning: código detallado para realizar el fine-tuning del modelo `GemmaColRAC-AeroExpertV4`, incluyendo la configuración de hiperparámetros.
79
+ - Evaluación: métodos para evaluar la eficacia del modelo fine-tuned en tu tarea específica.
80
+ - Guardar y cargar el modelo: instrucciones para guardar el modelo fine-tuned y cargarlo para futuras predicciones o análisis.
81
+
82
+ Puedes encontrar el notebook de fine-tuning en el siguiente enlace:
83
+
84
+ [Notebook de Fine-Tuning para GemmaColRAC-AeroExpertV4](https://colab.research.google.com/drive/1VmcSVvkaXVe-ya5ATDxKilPY9kN-x2_I?usp=sharing)
85
+
86
+ Este recurso está diseñado para ser accesible a usuarios de todos los niveles de habilidad técnica, desde principiantes hasta expertos en machine learning.
87
+
88
+
89
+
90
+
91
+
92
+ ## Más Información
93
+
94
+ Para obtener más detalles sobre `GemmaColRAC-AeroExpertV4`, incluyendo acceso al modelo y sus capacidades completas, visita nuestro [repositorio en Hugging Face](https://huggingface.co/ejbejaranos/GemmaColRAC-AeroExpertV4).