Modelos de lenguaje a tu medida

Descripción completa

¿Los grandes modelos de lenguaje te quedan grandes? Vení a este workshop y vas a salir con las herramientas para ajustarlos a tus necesidades. Estamos asistiendo a un crecimiento vertiginoso de las tecnologías relacionadas a modelos generativos, cuya capacidad para generar textos e imágenes nos está asombrando. Ahora bien, muchas de estas herramientas, como chatGPT, son propietarias y de código cerrado, por lo cual no son adecuadas para aplicaciones críticas, como por ejemplo cuando necesitamos tener un muy buen control sobre lo que generan (por ejemplo, en aplicaciones que van a usar menores de edad o población vulnerable en general, o cuando se pueden afectar derechos fundamentales) o sobre la información que les proporcionamos (por ejemplo, si queremos que manipulen información confidencial o información sensible, como datos personales protegidos). Los modelos de lenguaje abiertos son una gran alternativa a las herramientas privativas, y, además, nos permiten adaptarlos de forma muy directa y transparente. Para adaptar modelos de lenguaje, es decir, ajustar su comportamiento para que hagan mejor una determinada tarea (fine-tuning), tendrás que: conseguir ejemplos de la tarea que queremos que el modelo haga mejor formatear los ejemplos para que se ajusten a lo esperado como input de entrenamiento del modelo conseguir hardware donde hacer el entrenamiento de ajuste del modelo (fine-tuning) conseguir que un modelo de base que se ajuste a tu tarea objetivo y que sea lo suficientemente pequeño como para entrenarse en el hardware que conseguiste En este taller no vamos a poder ayudarte con 1) ni con 2), pero te vamos a explicar que se puede trabajar en el CCAD para conseguir 3), y te vamos a mostrar cómo hacer 4), con ejemplos prácticos y cómo superar algunos de los obstáculos más habituales.