Por Margarita Trovato
Este viernes 25 de septiembre se realizó una nueva audiencia en la causa judicial por el uso de reconocimiento facial en la Ciudad de Buenos Aires, esta vez centrada en una licitación que el Gobierno porteño impulsa para contratar un nuevo sistema de reconocimiento facial para la búsqueda de personas prófugas. Fundación Vía Libre participó como amicus curiae, junto al Centro de Estudios Legales y Sociales (parte actora), peritos expertos técnicos de la Facultad de Ciencias Exactas de la UBA, el Ministerio de Seguridad y la Procuración General de la CABA, y la Defensoría del Pueblo, uno de los organismos de control previstos por ley para este sistema.
Recordemos que el sistema actual permanece suspendido desde 2022, luego de que la Justicia ordenara auditarlo y evaluar su impacto en derechos fundamentales. Ahora el Gobierno impulsa una licitación para contratar un nuevo sistema que reemplace a aquel. Durante la audiencia se discutió la nueva propuesta, en base al pliego que se usaría para la licitación. El Ministerio de Seguridad presentó los elementos técnicos que, a su entender, constituyen garantías del nuevo esquema y aportó más información que la que se encontraba en el expediente administrativo que presentaron en la causa.
Como marco general, el perito experto Sebastián Uchitel explicó que, para determinar si el sistema es seguro y respetuoso de los derechos de la ciudadanía, no alcanza con evaluar la herramienta tecnológica de manera aislada, porque su funcionamiento seguro depende también de cómo se la usa en la práctica (protocolos de intervención humana, capacitación, procedimientos policiales), y que esa información no está contenida en el pliego. Sobre esa base, se discutieron algunos puntos sobre la implementación y las condiciones en que se desplegaría eventualmente, así como otros marcos normativos que el GCBA aseguró tener, por ejemplo sobre la actuación policial una vez que el sistema se ponga en funcionamiento.
Si bien tanto la parte actora, el organismo de control y FVL como amicus curiae valoramos la predisposición del Gobierno en cumplir con las decisiones judiciales previas e incorporar sus lineamientos a un nuevo sistema, compartimos varias preocupaciones, algunas de ellas muy graves. Uno de los más señalados fue que el pliego no exige una evaluación seria de los sesgos del sistema, fundamento central de la suspensión del sistema actual. Lo hace de manera inexacta técnicamente y dejando un amplio margen de discrecionalidad, incluso en contraposición con los propios Lineamientos de Inteligencia Artificial que adoptó la Ciudad y que el Ministerio presentó como marco rector en este proceso.
Otro punto cuestionado fue el alcance de la auditoría prevista, también un punto fundamental en las decisiones judiciales previas: el pliego actual sólo exige una declaración jurada de la empresa sobre los “procesos de integración de datos”, sin contemplar una auditoría del modelo de inteligencia artificial en sí, de los datos con los que fue entrenado, ni de su desempeño según distintos grupos de población.
Se planteó también, en términos de protección de la privacidad, que según surge del pliego la evaluación de impacto en protección de datos personales se exige ex post y que no se explicitan allí criterios ni estándares para la evaluación. Pedimos de manera enfática que se precisara qué se espera de esa evaluación, de modo que los oferentes entreguen información clara y pertinente para poder medir realmente el impacto en derechos. El GCBA se mostró especialmente reticente a este último punto. También se abordó la preocupación por la habilitación a la empresa adjudicataria de reutilizar los datos a los que accede para entrenar sus propios sistemas, bajo autorización del GCBA, sin incorporar ningún parámetro o requisito para esta decisión. El Ministerio de Seguridad respondió que esa reutilización sólo podría darse con autorización expresa y en los términos que habilitarían los Lineamientos de IA, pero no descartó la posibilidad.
Estos y otros puntos más técnicos encienden una alerta sobre la posibilidad del despliegue de tecnologías de este tipo en condiciones similares a las del que se encuentra suspendido. Lo cierto es que el pliego actual con sus inexactitudes, errores y vaguedades concede un margen de discrecionalidad tan amplio que parece poco verosímil que su implementación efectiva cumpla con las garantías declaradas, incluso pensando en las mejores intenciones de cumplimiento y apego a los estándares sentados por la justicia. Es por esto que desde Vía Libre adelantamos que presentaremos por escrito nuestras observaciones al pliego y una propuesta de puntos mínimos que debería contemplar cualquier evaluación de impacto en protección de datos para este tipo de sistemas.
Seguiremos de cerca este proceso que marca un caso de referencia sobre defensa de derechos fundamentales en la implementación de tecnologías de vigilancia generalizada en el espacio público.