The Wrecking Ball: Demoliendo IAs

Descripción completa

Los sistemas de aprendizaje automático (ML), y en particular los grandes modelos de lenguaje (LLM) y similares IA generativas han atraído la atención global. En parte, porque presentan numerosas características útiles e interesantes; en otra, porque están rodeadas de 'hype' que les atribuye propiedades casi mágicas. Sin embargo, poco se ha estudiado y trabajado sobre la seguridad de estos sistemas (tanto los de 'caja negra' como los de 'caja transparente'). Esta presentación pretende, muy a vuelo de pájaro, subsanar en parte ese déficit. Abordaremos, desde el punto de vista de la seguridad, algunos de los problemas fundacionales de los sistemas de ML; una taxonomía de los ataques de manipulación y extracción sobre el input, los datos y los modelos (con algo de foco adicional en los ataques de manipulación de input o "ejemplos adversarios" y sobre los de extracción de modelo); y una breve exploración de los ataques más significativos. Esta exploración es inevitablemente fragmentaria. Lo es porque además de los riesgos "técnicos", los avances en el campo de ML entrañan un número no menor de riesgos sociopolíticos; no pretendemos en esta presentación recorrerlos exhaustivamente, pero sí dejar al menos sembrada una semilla de advertencia. Finalmente, se procura iniciar la reflexión sobre el rol de las comunidades de software libre en este campo. Ante el enorme potencial de los sistemas de ML para aliviar y acelerar trabajo humano, aparecen también como contracara enormes riesgos ¿Cómo construir sistemas fiables, robustos y explicables? ¿Qué limitaciones enfrentaremos para hacerlo?