Modelos de lenguaje a tu medida

Accepted

Taller para aprender a adaptar (fine-tuning) grandes modelos de lenguaje abiertos (open LLMs) con datasets propios, para que funcionen mejor para algunas tareas específicas.


Type: Workshop / Taller

Level: Beginner

Speakers: Hernán Maina, Guido Ivetta y colaboradores a definir más adelante

Speakers Bio: a completar

Time: 15:00 - 18:00 - 09/13/2023

Room: Lab 17 - Famaf

Labels: grandes modelos de lenguaje inteligencia artificial generativa procesamiento del lenguaje natural fine-tuning

Description

¿Los grandes modelos de lenguaje te quedan grandes? Vení a este workshop y vas a salir con las herramientas para ajustarlos a tus necesidades. Estamos asistiendo a un crecimiento vertiginoso de las tecnologías relacionadas a modelos generativos, cuya capacidad para generar textos e imágenes nos está asombrando. Ahora bien, muchas de estas herramientas, como chatGPT, son propietarias y de código cerrado, por lo cual no son adecuadas para aplicaciones críticas, como por ejemplo cuando necesitamos tener un muy buen control sobre lo que generan (por ejemplo, en aplicaciones que van a usar menores de edad o población vulnerable en general, o cuando se pueden afectar derechos fundamentales) o sobre la información que les proporcionamos (por ejemplo, si queremos que manipulen información confidencial o información sensible, como datos personales protegidos). Los modelos de lenguaje abiertos son una gran alternativa a las herramientas privativas, y, además, nos permiten adaptarlos de forma muy directa y transparente. Para adaptar modelos de lenguaje, es decir, ajustar su comportamiento para que hagan mejor una determinada tarea (fine-tuning), tendrás que: conseguir ejemplos de la tarea que queremos que el modelo haga mejor formatear los ejemplos para que se ajusten a lo esperado como input de entrenamiento del modelo conseguir hardware donde hacer el entrenamiento de ajuste del modelo (fine-tuning) conseguir que un modelo de base que se ajuste a tu tarea objetivo y que sea lo suficientemente pequeño como para entrenarse en el hardware que conseguiste En este taller no vamos a poder ayudarte con 1) ni con 2), pero te vamos a explicar que se puede trabajar en el CCAD para conseguir 3), y te vamos a mostrar cómo hacer 4), con ejemplos prácticos y cómo superar algunos de los obstáculos más habituales.