El equipo de ética en IA disertó en la 17th EACL (European chapter of the Association for Computational Linguistics). En esa ocasión, Laura Alonso Alemany y Luciana Benotti expusieron el trabajo sobre métodos y herramientas para facilitar la auditoría de sesgo y comportamientos discriminatorios de las herramientas de Procesamiento del Lenguaje Natural atendiendo a las particularidades de nuestra región. Presentaron los resultados del proyecto E.D.I.A: un prototipo, una librería y varias experiencias con equipos interdisciplinares que arrojan luz sobre cómo avanzar en este tipo de problemas, con principal atención a las necesidades locales. Además, Luciana Benotti dictó un tutorial junto a la dirección del comité de ética de la Asociación de Lingüística Computacional (ACL).
La Asociación de Lingüística Computacional es una organización mundial que tiene tres capítulos: el de las Américas, en la que Luciana Benotti de Vía Libre es presidenta del Comité Ejecutivo; el europeo en donde se llevó a cabo esta conferencia y el asiático que se creó hace tres años pero que viene creciendo muy rápido. A lo largo de los años, la EACL (European Conference of the Association for Computational Linguistics), se ha convertido en un punto de encuentro fundamental para la comunidad académica y profesional dedicada al procesamiento del lenguaje natural, una de las área más grandes de la IA con aplicaciones como chatbots, traducción automática, búsqueda en internet entre otras.
Desde la Fundación Vía Libre, creemos que es necesario participar de estas conferencias para visibilizar el sur global y los países en desarrollo, abordando las realidades que vivimos, y visibilizando los posibles impactos de la IA principalmente en la automatización de tareas, y en las economías de nuestros países. Es allí donde se toman las decisiones sobre en qué temas invertir y se decide principalmente en qué áreas investigar. Para entender los impactos y riesgos de estas tecnologías, es imprescindible poder investigar. Además, con el ritmo acelerado de avances en este campo, es valioso también socializar y compartir con distintos colegas de trayectorias similares. Adquiriendo así conocimiento, no solo a través de papers académicos, sino también desde conversaciones informales, que permiten compartir intuiciones y reflexiones de manera más honesta sin estar sujetas a registros formales.
El encuentro se llevó a cabo en cuatro días de manera híbrida. En los primeros dos días, se realizó la conferencia principal en una dinámica de pósters y disertaciones . El tercer día se realizó el workshop Cross Cultural Considerations in NLP (C3NLP) con la presentación de distintos investigadores de diferentes partes del mundo, coorganizado por Luciana Benotti, Vinod Prabhakaran y Sunipa Dev de Google Research, Dirk Hovy de la Universidad de Milan y David Adelani de la Universidad de Londres. Duró todo un día completo.
Laura Alonso Alemany estuvo a cargo de la presentación de E.D.I.A.
“Fue muy bien recibido y la participación muy fructífera. Permitió volver a trabajar sobre temas, a profundizar, a conversar y a replantearnos cómo intervienen en nuestros problemas, temas como la agencia de los informantes (o hablantes) en los desarrollos que involucran lenguaje natural: los diferentes roles, la jerarquía entre máquina y persona así cómo los factores culturales que sesgan o no lo hacen. Y recibimos feedback de nuestra presentación de paper y panel” compartió Laura con el resto del equipo de la Fundación.
Luego de la presentación se abrió a preguntas, y discusiones. Varias fueron en torno a cómo interactúa el sesgo con la nacionalidad en cuestiones de bagaje cultural. Luciana en luego de su regreso, nos compartió:
“Una pregunta que me pareció muy desafiante es ¿Cómo incentivan a personas que usen herramientas como E.D.I.A.? Compartí nuestra forma, a través de workshops desde un método snowball: conectando con gente que conocemos. Entonces, quienes exploran el instrumento en esos talleres son especialistas en distintas áreas por ejemplo de ciencias sociales, pero también en nutrición, por ejemplo, con investigadores en particular como la obesidad. También expertos en otras áreas como en juventudes, en desempleo, en la comunidad queer y no binaries. Encontramos una comunidad que estaba motivada en lo que veníamos trabajando, y es así como participaron explorando la herramienta. Creo que una de las problemáticas mayores que hay, en el área de procesamiento del lenguaje natural, es que para la carga de datos se paga para que participen a distintas personas en condiciones muy precarias, mal pagas, poca incentivadas en un trabajo invisible que hay detrás de la IA, los llamados crowd workers. Quienes no reciben con claridad el objetivo del trabajo y finalmente producen datos de menor calidad.”
El último día del congreso en EACL, Luciana Benotti dictó un tutorial sobre cómo escribir secciones de consideración ética en artículos científicos de procesamiento del lenguaje natural y cómo revisar artículos desde un punto de vista ético en el área de procesamiento de lenguaje natural. Esto lo realizó junto al comité gerencial de ética de la ACL del cual Luciana Benotti es miembro representante de las Américas. Allí participaron Yulia de la Universidad de Washington, Karen Fort de Francia (La Sorbonne) y Min Yen Kan de la Universidad de Singapur. Este tutorial duró desde las 9 a la 13 hs y se trabajó sobre casos específicos de estudios, donde se presentaron descripciones de revisiones éticas de artículos de procesamiento de lenguaje natural y se discutió en grupo sobre lo que se consideraba qué estaba bien, lo que había que tener en cuenta y aquello qué faltaba.
En todo el congreso, el equipo interactuó con otros investigadores que perciben que el área viene sufriendo una crisis en la evaluación.
Laura Alonso Alemany, agregó:
“Hasta ahora veníamos evaluando de una forma, y de la forma en cómo está evolucionando el campo, ya no nos resulta suficiente, adecuada, para el tipo de problemas con los que nos enfrentamos, como este agente de diálogo, como el chatgpt que no es el único. Entonces, estuvo bueno, hablar con investigadores y validar que efectivamente es así, los resultados negativos o no propositivas son más difíciles de socializar, entonces, las conversaciones informales, nos permitieron corroborar que efectivamente estamos ante una crisis de evaluación, lo cual involucra una crisis de objetivos también, porque hay en nuestra área, porque los objetivos tienen que ir acompañados si o si de evaluación contrastable. La metodología con la que nos manejamos, es muy clara en ese sentido. Estamos ante una crisis de evaluación. Pero vimos bastantes propuestas, ninguna definitiva, pero sí diferentes, para avanzar en otras formas de evaluar estos nuevos contextos en los que nos encontramos.”
Además Luciana sumó:
“Este tutorial que organizamos desde la Asociación Lingüística Computacional, fue luego de una encuesta que hicimos a diferentes miembros de la Asociación. Entre unas 8000 personas de todo el mundo, más de la mitad no habían tenido curso de ética ni habían pensado en riesgos de estas tecnologías. Creemos que quienes investigan en estas áreas se tienen que involucrar en describir cuáles son los riesgos, porque únicamente sabiendo cuales son las limitaciones se puede accionar. En algo concreto como: ¿qué porcentaje de mujeres se reflejaba en un conjunto de datos usado para entrenar un modelo? Saber exactamente ese tipo de información, dimensiones demográficas o culturales sobre los datos que se está entrenado, detallando cuales son los algoritmos que se usaron. Es importante para ver, para predecir, sobre qué personas estos sistemas van a cometer errores. Porque los errores sistemáticos son discriminación. Esa es la definicion de discriminación que trabajamos dentro de IA. Entonces empezar a formar a las y los investigadores de esta área, de procesamiento de lenguaje natural es importante para que quienes conocen los detalles de cómo funciona la tecnología y cuáles son sus limitaciones, se involucren en un diálogo también sobre los riesgos con los desarrolladores de estos sistemas.”
Poder participar de este Congreso, como referentes de ética en IA, es imprescindible. Hay resistencias a nivel global, con muy poca voluntad para impulsar una visión sobre cuál es el impacto social de estas tecnologías. Sabemos que no es algo que se hable naturalmente en estos encuentros, por esto, es nuestro derecho pero también nuestra obligación desde el equipo de ética de la Fundación poner en mesa estas discusiones.