¿Cómo afectan los algoritmos a la ciudadanía?

El mundo digital está reproduciendo las desigualdades como son expuestas en el siglo XXI. Los patrones con los cuales se entrenan a los algoritmos, reproducen estereotipos de los humanos con los cuales interactuan. El sistema de inteligencia artificial (IA) toma el sesgo (prejuicio incluido) como verdad.

Un sistema dominado por máquinas es todo cálculo, no pensamientos, intenciones o elecciones. Si la entrada es incorrecta, también lo será la salida.   

La IA puede ayudar a detectar y reducir los prejuicios humanos. Esa posibilidad subsume una realidad: los estudios indican que, en algunos contextos actuales, las desventajas de los sistemas de IA afectan de manera desproporcionada a los grupos que ya están en desventaja debido a factores como la raza, el género y el entorno socioeconómico.

¿Puede un algoritmo ser racista?

Al menos, se cuenta con ejemplos de ello. Google admitió en 2018 que no pudo encontrar una solución para corregir su algoritmo de etiquetado de fotos[1] al identificar a los negros como gorilas. No pudieron prever cómo su software de reconocimiento de imagen podría cometer tales errores fundamentales. Es importante destacar que la fuerza laboral de Google era de solo un 2,5 % de negro. En lugar de encontrar una solución, eliminaron la capacidad de buscar ciertos primates en Google Photos.

Este no es el único problema de Google. En 2016, la búsqueda de un estudiante de secundaria para “tres adolescentes blancos” y “tres adolescentes negros” dio como resultado que la solicitud de adolescentes blancos apareció en stock para la venta y la solicitud de adolescentes negros apareció en los medios locales como historias sobre arrestos.

La máquina aprende lo que los datos le muestran y luego dice lo que ha aprendido. La respuesta era un armatoste de lo que la gente está buscando. “Cuando la gente decía ‘tres adolescentes negros’ en los medios de comunicación con imágenes de alta calidad, casi siempre hablaban de ellos como criminales, y cuando hablaban de ‘tres adolescentes blancos’, casi siempre se publicitaban fotografías de stock”. La máquina muestra lo que se le pide, no dice lo qué se debería preguntar.

Esta fue la respuesta de Yonatan Zunger, líder técnico de los esfuerzos sociales de Google y responsable de las fotos, cuando recibió el llamado de que el sistema de indexación de fotos de Google había descrito públicamente a un hombre negro y su amigo como “gorilas”.

¿El problema es el humano, no la máquina?

Los sesgos causados ​​por el hombre incluyen prejuicios. Los humanos construyen los algoritmos AI. Los datos de entrenamiento son reunidos, limpiados, etiquetados y anotados por humanos.

Zunger comenta que algunos problemas con la IA y el sesgo racial no son errores simples. COMPAS, un sistema que se usa para predecir qué acusados ​​serán más propensos a cometer más delitos, predijo que los acusados ​​negros presentan un mayor riesgo de reincidencia de lo que realmente hacen en el mundo real. El problema fue que el modelo no predecía lo que pensaban que era predecible. Estaba capacitado para responder “quién es más probable que sea condenado” y luego le preguntaron: ¿quién es más probable que cometa un delito?

Estas son dos preguntas totalmente diferentes. COMPAS no utiliza la raza como una entrada explícita y no hizo ninguna diferencia. Los afroamericanos son más propensos a ser detenidos e interrogados, acusados, juzgados y condenados que otros. Entraron en los registros a un ritmo mayor, independientemente de las ocurrencias como tales. COMPAS reflejó ese hecho y no reflexionó sobre ello.  

¿Cómo se evitan los sesgos?

No hay una forma sencilla de eliminarlos automáticamente porque gran parte se reduce al juicio humano. Los científicos de datos deben ser muy conscientes de estos sesgos. Se deben monitorear, probando continuamente el modelo y trayendo a humanos bien entrenados para ayudar.

No existe una forma sencilla y externa de predecir las sensibilidades culturales de forma global y permanente. No se pueden derivar reglas sensatas sin la frecuente intervención humana. Debe tenerse cuidado con el reconocimiento de la imagen cuando toca la historia racial o de género.

Por ejemplo, advierte Zunger: “La mayoría de los ganadores del Premio Nobel son hombres, pero un ser humano considerado no asumirá que un ganador “debe ser” un hombre. Un sistema de aprendizaje automático “sabe” nada más la entrada de datos. Ciertamente no “sabe” que podría estar creando prejuicios o ofendiendo. Si queremos que evite eso, debemos monitorear constantemente su salida”.

La salida no tiene opinión, es la entrada la que debe preocuparnos. La inteligencia artificial nunca reflejará más de lo que puede medir. Procesa vastas extensiones de datos y las respuestas (falsos positivos o falsos negativos) que se obtienen, son un reflejo de los problemas de la recopilación de datos, no el resultado de una máquina.

---

[1] Inicialmente el producto era usado por una mayoría de blancos y asiáticos.

---