Este artículo fue patrocinado por el Centro Internacional de Investigaciones para el Desarrollo (IDRC) de Canadá
[BUENOS AIRES, SciDev.Net] “Hay muchos datos sobre femicidios, pero nos faltan saber qué pasa antes de un femicidio, qué hace que una mujer sea asesinada en manos de un varón”.
Lo que dice Ivana Feldfeber es parte del diagnóstico que llevó a generar un programa de Inteligencia Artificial (IA) que lee los documentos de causas judiciales, elige la información relevante y la lleva a una base de datos estructurada.
El programa se llama AymurAI y lo creó en 2021 el equipo de Datagénero, que conduce Feldfeber, bajo la idea de código abierto, con instalación en servidores locales para garantizar la seguridad y confidencialidad de los datos.
El sistema trabaja con un tipo de información que suele estar desperdigada en fojas y fojas, dentro de expedientes singulares que esconden datos que, agregados, podrían ser útiles para evitar violencias de género.
“No resuelve la violencia, pero nos ayuda visibilizar las desigualdades y la violencia para actuar desde sociedad civil y el gobierno; es evidencia importante, especialmente para quienes dicen que no existe y que son denuncias falsas”, señala Feldfeber, directora ejecutiva de Datagénero y coordinadora general del proyecto, en diálogo con SciDev.Net.
Hasta ahora AymurAI se usa en tribunales de Argentina, Chile y Costa Rica; fue un juzgado de la ciudad de Buenos Aires el que lo adoptó por primera vez y desde el cual se diseminó a más de 20 poderes judiciales que lo usan en la actualidad.
La IA −que obtuvo financiamiento de la IDRC de Canadá y de la Patrick McGovern Foundation, entre otras entidades− fue armada antes del auge del Chat GPT, como un modelo de procesamiento del lenguaje natural que reconoce lo nombrado, no infiere nada, y manda lo que encuentra a la base de datos.
Y es parte de una serie de iniciativas latinoamericanas −desde México a la Argentina− que buscan darle batalla al algoritmo que muchas veces refuerza sesgos que acentúan las brechas de género.
Big-sesgo
“(Son) algoritmos que alegan ser inteligentes cuando en realidad amplifican las desigualdades, perpetúan los sesgos raciales y de género, y consolidan una nueva forma de extractivismo del conocimiento”, escribe el profesor de filosofía italiano Matteo Pasquinelli, en su libro El ojo del amo sobre el status-quo de la tecnología y donde pide reconocer las raíces económicas y sociales de la técnica.
Lo cierto es que la IA está en disputa y su contenido todavía puede ser determinado no solo por las grandes compañías internacionales. Ahí apuntan estas iniciativas latinoamericanas: a pelear por el algoritmo.
Por eso, por ejemplo, se decidió que AymurAI sea de código abierto, publicado en línea y de uso gratuito, y los datos queden protegidos y anonimizados. Hasta ahora tiene datos de más de diez mil sentencias.
El proyecto tiene financiación asegurada hasta agosto próximo, pero el equipo tiene intenciones de sumarle más características. “Estamos por incorporar una nueva herramienta para que un archivo de audio se transforme en texto de manera local para que nadie más la tenga, y que ese testimonio quede ahí”, explica Feldfeber.
La idea es pasar voz a texto, que se valide, quede como testimonio firme y que las personas no tengan que testificar innumerables veces sobre hechos traumáticos y no se revictimicen cada vez.
“Nos interesa proteger: que no se filtren las direcciones de las víctimas, que no se estigmatice en lo laboral o familiar. Son datos muy sensibles”, agrega.
Más casos
Jamilia Venturini (segunda de la izq.), explicando la estrategia que han desarrollado para que la IA esté más focalizada en demandas e intereses latinoamericanos y tome en cuenta el punto de vista femenino. Crédito de la imagen: Prensa / DerechosDigitales.org
No es el único caso de uso de la IA para intentar cerrar brechas de género en América Latina, y adaptarlas a lo específico de la región.
A eso se ha dedicado también Jamila Venturini, codirectora ejecutiva de Derechos Digitales, una organización fundada en Chile hace más de dos décadas que investiga políticas públicas y privadas en relación con las tecnologías para toda la región.
Allí, Venturini y equipo parten de la base de que las decisiones en IA se toman por lo general lejos de América Latina y sin evidencia de lo que pasa en la región con el desarrollo y las consecuencias de su uso.
“Nuestra estrategia tiene cuatro visiones”, dice Venturini.
“Consideramos denunciar el carácter opresivo de la tecnología que plasma visiones del mundo ajenas a las demandas de las comunidades de América latina, en género, raza, edad, capacidades, y demás. Y visibilizar gente que sí está desarrollando tecnologías. Y a la vez proponer políticas públicas para cambiar esa opresión y por último impulsarlas a partir de perspectivas feministas”, precisa.
La conclusión es que existe una desigualdad en el despliegue de estas tecnologías, ya que los estados tienen dificultades para el uso y almacenamiento de datos consistentes.
“La IA depende del procesamiento de grandes cantidades de datos y la falta de estructura en el sector público dificulta estos usos. La ausencia de marcos de protección asociados a estos datos baja las garantías de derechos humanos y la confiabilidad”, afirma.
Y agrega que los gobiernos sienten el impulso de implementar las IA, aunque sean incipientes o riesgosas. Y citó un caso que sucedió en Brasil durante la pandemia de COVID-19, con un despliegue poco transparente de la IA.
“Era un auxilio para personas vulnerables por la pandemia, se les ofrecía un pago mensual. El gobierno quería incrementar las bases y requería un registro digital, que habilitaba la elegibilidad. Pero no era transparente en sus criterios, y se judicializaron las negativas”, cuenta Venturini.
“La IA depende del procesamiento de grandes cantidades de datos y la falta de estructura en el sector público dificulta estos usos. La ausencia de marcos de protección asociados a estos datos baja las garantías de derechos humanos y la confiabilidad”.
Jamila Venturini, codirectora ejecutiva de Derechos Digitales
En el análisis advirtieron que había múltiples formas de exclusión por el diseño mismo del sistema, desde el momento en que obligaba a bajar una aplicación al celular, una dificultad de partida. Sólo se podía hacer una solicitud por dispositivo y por persona. “Eso ya era una brecha, y luego había, además, errores catastrales que afectaron la elegibilidad. Partió de una lógica de restricción de derechos”, dice.
“Privacidad, justicia y equidad deben estar por diseño en la IA”, sintetiza.
Respecto de si son problemas inherentes a las tecnologías o si aún se pueden neutralizar, Venturini puntualiza que “la IA puede asumir distintos sentidos según su uso, pero también las tecnologías conllevan particulares perspectivas y visiones del mundo”.
“No se trata de ir en contra o a favor, sino entender que la IA permite la realización de cálculos y estadísticas e identificación de patrones, pero depende de bases de datos de entrenamiento que por sí mismas reflejan específicas visiones del mundo”, añade.
“Si hago un sistema como alerta niñez y solo uso un segmento de la población hago un sistema sesgado y orientado”, explica.
Deserción artificial
En México, Cristina Martínez Pinto fundó en 2021 PIT Policy Lab, una empresa que busca aunar tecnologías con el bien social; entre otros, armó un proyecto con el estado de Guanajuato para ver cómo se usa la IA a la hora de predecir la deserción escolar.
“Con el uso de la herramienta detectamos que había identificación errónea de 4.000 jóvenes que estaban en riesgo de dejarla”, dice Martínez Pinto.
Así, con un detallado seguimiento, observaron que el equipo técnico era solo de hombres y no se hacían las preguntas relevantes. Lo que propusieron fue usar herramientas de código abierto para ver dónde estaban los sesgos y mitigarlos. Además, hicieron capacitaciones sobre IA y derechos humanos, y también género e IA.
“Usamos una herramienta de código abierto que revisa los datos y damos recomendaciones para la corrección de los sesgos. La intención es no ser consumidor pasivo de lo que arman otros países; para eso, hacen falta alianzas entre los sectores público y privado”, explicó.
Tras esas jornadas, publicaron documentos para la autoevaluación, una guía ética y un documento aplicable a otros gobiernos de América Latina para evitar la deserción escolar.
“Más allá de lo técnico, queríamos tener mecanismos de participación de los actores. Y también capacitación continua para usar la herramienta”, concluye Martínez Pinto.
Lo que está en juego
“Si tenés un sistema de IA con leyes del país y usan información confidencial debe ser local y con servidores instalados localmente”, dice el informático Daniel Yankelevich, investigador principal de Fundar, una organización dedicada al estudio, investigación y diseño de políticas públicas para el desarrollo de la Argentina, al ponderar trabajos como los de Datagénero.
Y pone un ejemplo acerca de la necesidad del enfoque local: “Si una empresa quiere usar un modelo predictivo es muy distinto si se busca predecir el comportamiento de un argentino o de un finlandés. El comportamiento está marcado por factores locales. Es obvio que no se pueden exportar modelos de otras culturas, mucho menos si se piensa en eliminar el sesgo que está insertado en las sociedades”.
La solución para él es mejorar los datos con los que se entrena a la IA y por otro lado, dar soluciones técnicas para que ellas mismas lo adviertan y lo corrijan. “Se busca bajar a datos más locales y no tener muestras tan sesgadas, para eso hay que hacer modelos orientados a nuestra región”, dijo.
Lo bueno es que “son cosas que se pueden medir”. “El sesgo de género es uno de los más marcados y muy molesto que tenían los sistemas de IA. Pero hay otros, como la brecha en el uso de la tecnología”, advierte Yankelevich.
“Con Fundar y la Universidad Di Tella hicimos una encuesta para Argentina y Uruguay y vimos que hay sesgos de la IA por nivel educativo, por edad, pero no por género en cuanto a uso. Eso una buena noticia: no hay brecha en el uso de la IA”, concluye con optimismo.
Este artículo fue producido por la edición de América Latina y el Caribe de SciDev.Net.
Este artículo fue patrocinado por la oficina regional en América Latina y el Caribe del Centro Internacional de Investigaciones para el Desarrollo (IDRC) de Canadá.
