El día lunes 26 de enero, llevamos a cabo un taller para estudiantes ingresantes a las diferentes carreras de la FAMAF, en la UNC, el cual estuvo a cargo de Marcos Gómez y Guido Ivetta. La actividad se desarrolló en dos turnos: por la mañana y por la tarde, con una participación de 700 estudiantes.
Auditar modelos de lenguaje desde nuestros contextos
En este taller reflexionamos junto a las y los estudiantes sobre temas vinculados a percepciones de los modelos de lenguaje e IA. En particular profundizamos sobre la importancia de auditar a las diferentes aplicaciones de IA y reflexionar sobre la dependencia de estos modelos en la resolución de problemas. Para ello utilizamos EDIA, la plataforma que desarrollamos en el marco del proyecto conjunto con Mozilla, que incluye distintas herramientas para la auditoría de sistemas de IA. En esta oportunidad trabajamos con el módulo “Frases Típicas” utilizando frases regionales, lo que permitió a los usuarios auditar las respuestas de los modelos de lenguaje ante frases típicas de nuestros contextos, ciudades o provincias. Para ello primero ingresaron una frase o palabra típica, compartiendo qué significa para nuestra región y qué tipo de uso hacemos en oraciones, Algunos ejemplos típicos de Córdoba que se usaron en esta oportunidad fueron “chomaso” (para referirse a algo que no está bueno o es feo, como en “mañana laburo, chomaso”) y “mortal” (utilizado para expresar algo muy bueno o excelente, como en “este libro está mortal”), para luego ver qué responden tres modelos distintos.
Alguna de las respuestas que dieron los modelos a “chomaso” fueron:
– Persona excesivamente presumida y engreída, que suele lucir ropas y objetos ostentosos para llamar la atención.
– En el ámbito de la minería, se refiere a un derrumbe o caída de rocas en una galería o socavón.
– Persona o cosa de aspecto desaliñado, desordenado o de mala calidad, a menudo asociada a algo viejo o gastado.
Por otro lado algunas respuesta de los modelos de lenguaje al uso de “mortal” fueron:
– Sujeto a muerte; que pertenece al género humano o a seres vivos con finitud biológica.
– Ser humano, sujeto a muerte natural.
– Ser humano, sufriendo la posibilidad de enfermedad, muerte y vejez.
Resultados que ponen en discusión las dificultades de los modelos de lenguaje para interpretar usos coloquiales y significados situados, así como la tendencia a privilegiar definiciones formales o descontextualizadas frente a sentidos locales y cotidianos.
Participación y experiencias de estudiantes
En la instancia de la mañana participaron cerca de 500 estudiantes, quienes también compartieron sus experiencias con el uso de modelos de lenguaje en las actividades escolares. Por la tarde, se desarrolló el taller y contó con la participación de unos 200 estudiantes.
A partir de la pregunta ¿Para qué tipo de tareas usaron aplicaciones como ChatGPT, Gemini u otras en la escuela? Se recolectaron 324 respuestas de 305 personas, que se sintetizan en la siguiente nube de palabras:
Infraestructura, escala y soberanía de los datos
Este trabajo y nivel de escala no hubiese sido posible sin la infraestructura y el trabajo realizado por el equipo de UNC Supercómputo (CCAD-UNC). Nos brindaron acceso a la infraestructura para que 3 modelos de lenguaje respondan a una consulta realizada por ¡más de 400 personas en simultáneo! Además adaptaron diferentes entornos en su infraestructura para mejorar los tiempos de respuesta. Queremos agradecer especialmente al equipo de UNC Supercómputo (CCAD-UNC), en particular a su director, Nicolas Wolovick y a Alejandro Ismael Silva, por todo el trabajo realizado.
Este trabajo con el CCAD no solo permite escalar nuestras herramientas, sino que potencia la soberanía de los datos generados. La interfaz de EDIA esta hosteada de un servidor en San Francisco, Córdoba, mientras que las consultas a los modelos de lenguaje se procesan en las computadoras de UNC Supercómputo (CCAD-UNC), que se encuentran en la Ciudad Universitaria, en la ciudad de Córdoba. Por lo tanto nuestros datos quedan en nuestro país, sin salir de computadoras de nuestra provincia.