El gobierno de la Ciudad Autónoma de Buenos Aires insiste con la instalación de sistemas de Reconocimiento Facial en el espacio público. Desde la Fundación Vía Libre, en calidad de Amigos del Tribunal, nos presentamos una vez más en la causa caratulada O.D.I.A. y Otros c/ G.C.B.A. s/ amparo para presentar nuestras observaciones al pliego de contratación de un nuevo servicio de reconocimiento facial y gestión de alertas en imágenes de video bajo la modalidad de Orden de Compra Abierta por el GCBA.
El escrito que presentamos está disponible en este enlace.
Es importante recordar que la justicia ordenó suspender el Sistema de Reconocimiento Facial hasta que se verificara: 1) la constitución y debido funcionamiento de los órganos de control, 2) la realización de las investigaciones y pruebas necesarias sobre el software para determinar si su empleo tiene un impacto diferenciado sobre las características personales de los individuos afectados y 3) la publicidad e información a los vecinos y organizaciones que así lo soliciten sobre la existencia de la herramienta, su funcionamiento y las reglas jurídicas que lo rigen en su totalidad.
Lo cierto es que el punto 2 de los requerimientos quedó frenado ante la imposibilidad de avanzar con una auditoría sobre el funcionamiento del sistema, en tanto su código fuente y el resto de la información técnica relevante no fueron aportados al expediente. En este escenario, el GCBA busca contratar un nuevo sistema y por eso presentó el pliego de compra ante la justicia para su evaluación.
Nuestras observaciones al pliego ya fueron presentadas ante el tribunal, que debe ahora evaluar la propuesta para autorizar o no el avance de un nuevo sistema en la Ciudad de Buenos Aires.
Desde Fundación Vía Libre queremos llamar la atención a algunos aspectos centrales:
a) El Pliego de Especificaciones Técnicas (PET) contiene especificaciones imprecisas e incorrectas y omisiones graves. No prevé cómo evaluar ni mitigar sesgos, uno de los requerimientos clave impuesto por la Justicia.
b) Elementos esenciales del funcionamiento del sistema no están en el PET. El perito experto Sebastián Uchitel fue claro al explicar que no se puede evaluar si el sistema es seguro sin información de contexto sobre cómo se implementa.
c) La auditoría prevista en el PET no alcanza al motor algorítmico del sistema. El PET sólo exige una declaración jurada del adjudicatario y una carta de compromiso del proveedor de que dará acceso al código del software de los procesos de integración de datos para “eventualidades de índole legal o requerimientos de seguridad informática”. De aquí se desprenden dos problemas: por un lado, que el acceso al código es una excepción basada en una eventualidad y no una regla general que garantice la auditabilidad que exigen las sentencias de Primera Instancia y Cámara en el marco de este proceso. y por otro lado, queda por fuera de ese compromiso el código fuente del motor algorítmico del sistema de IA y por lo tanto el acceso a los datos con que fue entrenado y su desempeño por subgrupo poblacional.
Grave es además el hecho de que el PET deja en cabeza de la empresa y bajo el laxo formato de una declaración jurada sin mayores obligaciones, la responsabilidad de la auditoría del sistema integral. El pliego tampoco aclara quién va a evaluar esa auditoría que debería presentar la empresa proveedora.
Nuestro escrito enfatiza que
“entregar el código debería ser una obligación de la empresa, establecida como cláusula de la licitación, y debería referir al funcionamiento del motor algorítmico, incluyendo con qué datasets se entrenó el sistema y cómo está representada en ellos la demografía buscada, lo que tiene impacto directo en los sesgos inherentes a todo el sistema. Mientras no se establezcan condiciones claras, el sistema seguirá siendo inauditable en la práctica.”
Vale mencionar que los pliegos no garantizan la protección de datos personales ni prevén suficientes controles institucionales sobre los mismos, con el agravante de que el Ministerio de Seguridad de la Ciudad se autoatribuye la potestad de autorizar a la empresa a utilizar los datos personales para reentrenar sus sistemas.
El pliego dice textualmente que “la información y los datos a los que acceda el adjudicatario no podrán ser reutilizados ni empleados para el entrenamiento, ajuste, validación, desarrollo o mejora de sistemas o modelos de inteligencia artificial sin autorización previa y expresa del MSEGC.” Nunca está demás repetir que los datos personales biométricos son datos sensibles y que el Gobierno de la Ciudad no tiene potestad para autorizar a una empresa privada a usar nuestros datos bajo ninguna circunstancia.
Finalmente, presentamos una serie de lineamientos mínimos para una evaluación de impacto en privacidad de sistemas de reconocimiento facial que entendemos deben formar parte de las pautas obligatorias para la adquisición de cualquier servicio de esta naturaleza que tiene la potencialidad de afectar derechos fundamentales de la ciudadanía en su conjunto, independientemente de la búsqueda de prófugos o cualquier otro argumento basado en la seguridad pública que se pretenda argumentar.