Uso de LLM local en Linux para hardware AMD

Aceptada

Desde la aparición de los LLM, el uso local de estos se vio limitado al Hardware específico de Nvidia en Windows, Linux abre la puerta a quienes quieran ejecutar estos modelos con hardware modesto.

Tipo: Lightning talk / Relampago

Nivel: Principiante

Disertantes: Emanuel Botta

Biografiá del Disertante: Emanuel Bautista Botta. Estudiante de ingeniería Informatica en la UCSE Rafaela y Técnico en Informática.

Horario: 10:30 - 10:45 - 25/04/2026

Sala: Sala IV

Etiquetas/Tags: linux open source llm ia fedora linux

Descripción completa

Linux permite que se puedan utilizar LLM y modelos de difusión locales sin importar el tipo de hardware sobre el que se ejecuten. Principalmente placas de video AMD que debido a su precio suelen ser la opción de muchos, y que a través de las librerías Rocm y la plataforma open source Ollama en Linux, se puede aumentar drásticamente el rendimiento y mejorar los tiempos de inferencia en comparación a Windows. En mi experiencia, la mejora de rendimiento es notoria y es un salvavidas para alguien que quiere tener un proyecto local de IA sin tener que invertir en hardware costoso.