EDIA: una herramienta para descubrir sesgos en sistemas generativos

Descripción completa

El objetivo principal de EDIA es crear una primera alfabetización crítica sobre inteligencia artificial generativa. Además, construir de manera colaborativa un conjunto de datos para evaluar estás tecnologías, y finalmente contribuir a construir ciudadanía en esta era con creciente presencia de IA. Los sistemas generativos pueden tener sesgos y estereotipos, algunos de los cuales son particularmente difíciles de detectar (en especial porque pueden resultar claros para alguien con conocimiento del campo que se trate, pero sin los recursos técnicos para interactuar con el sistema). EDIA permite explorar: 1) sesgo en frases: a partir de oraciones en donde una contenga a) estereotipo y la otra b) antiestereotipo, buscamos definir las preferencias de un modelo de lenguaje pre-entrenado a la hora de producir lenguaje. Si el modelo no tuviera sesgo ambas tendrían el mismo nivel de preferencia, pero si el modelo estuviera sesgado la preferencia por una será mayor; 2) sesgo en palabras: visualizar la distribución de palabras en un espacio 2D y con ello observar la distancia entre ellas. Entre más contextos de ocurrencia compartan, estarán más cerca y cuanto menos, estarán más lejos. Las palabras con un significado parecido van a verse más cercanas; 3) explorar palabras: permite explorar y entender las relaciones semánticas entre palabras en un espacio vectorial. Cada palabra en un idioma es como una flecha en un mapa enorme. Cuando dos palabras tienen un significado similar, sus flechas apuntan en direcciones cercanas en ese mapa. El visualizador toma estas flechas y las muestra de manera que se pueda ver qué palabras están cercanas entre sí en ese espacio; 4) explorar contextos: a partir de una palabra permite obtener información del contexto en el que se encuentra, dentro de una fuente de datos disponibles. El taller presenta la herramienta e invita a explorarla y experimentar con ella. EDIA es un proyecto de Fundación Vía Libre.