Oye, Siri. Hay un sesgo en tu inteligencia

Antes de comenzar a leer este post, te propongo que le pongas nombre a un proyecto: una app que te recuerda cuándo te toca tu tercera o cuarta dosis de la vacuna contra el Covid-19. La app tiene un rostro, que es el personaje que está configurado para recordarte cuántos días faltan para tu cita a través de mensajes de voz. Empecemos.

Ya terminando la primaria, recuerdo que algunas personas del salón tenían Encarta, la enciclopedia digital multimedia de Microsoft (1993-2009), para ayudarse a hacer algunas tareas. En mi casa, no había dinero para comprar Encarta, eran tiempos difíciles y el software era caro, y también ocurría que mis papás, como muchas familias noventeras, actualizaban frecuentemente la biblioteca de la casa con los coleccionables de El Comercio además de varios libros confiables como el Larousse del abuelo. No era de vida o muerte, digamos.

Claro, el internet no fue de vida o muerte hasta que, sin que nos diéramos cuenta, nos levantaron en peso con una revolución tecnológica. Ahora, todo lo que tenemos que hacer es mantener el dedo sobre la pantalla del móvil o de un botón para que la voz del software de asistencia virtual de turno nos diga cuál es la capital de Suecia, nos cuente un chiste, nos programe una alarma para llamar a la clínica a preguntar por nuestros resultados del laboratorio al que llegamos en la mañana, a través de las direcciones de la otra aplicación de asistencia virtual que nos mostró la ruta más rápida a través del tráfico de las 7 am.

Y todo esto es gracias a la maravilla de la inteligencia artificial (IA). Tenemos decenas de aplicaciones que utilizan IA en nuestro día a día. El buscador de Google, Waze, Siri (Apple), Cortana (Microsoft), el chat automático de la panadería a la que le encargas la torta de cumple por Facebook Messenger o el asistente virtual de moda de tu banco favorito que te contesta todas las preguntas por Whatsapp. Resolviendo problemas y aprendiendo del input de información de cientos de miles de personas en simultáneo para poder ofrecerte un mejor servicio (de lo que sea). Todo esto sin intervención humana.

Ante tantísima utilidad, vale notar un gran detalle, del que no todos y todas nos damos cuenta: las AI se comportan y aprenden en base a un algoritmo que les dio vida. El algoritmo es elaborado por seres humanos, como tú o yo. Y los seres humanos tenemos, por naturaleza, sesgos. Muchos sesgos. Lo que viene ocurriendo es, básicamente, que nos hemos dado cuenta de que los equipos que las crean trasladan sus propios sesgos a la AI, especialmente si la AI será humanizada, como Siri, Alexa o cualquier personaje de asistencia virtual. Y estos sesgos por supuesto trasladan estereotipos de género a millones de personas.

¿Cómo ocurre este “contagio” de sesgos? Por ejemplo, cuando Apple estrenó a Siri, allá por octubre del año 2011, la única voz disponible era femenina, por lo que asumimos colectivamente que Siri era, también, femenina. Curiosamente, como consta en un reporte de UNESCO sobre el cierre de brechas de género digitales, una de las bromas recurrentes antes de su actualización, era decirle “Hey, Siri, you’re a b****” (“Oye, Siri, eres una zorra”), a lo una de las respuestas de Siri era “I’d blush if i could” (“Si pudiera sonrojarme, lo haría”), en un tono con un tufillo que, en retrospectiva, sonaba sumiso ante la ofensa. ¿Qué tiene esto de sesgado? Veamos:

1. Al lanzar a Siri en el 2011, con una única voz femenina y una personalidad un tanto servil, Apple no se dio cuenta de que, sin querer, reforzaba estereotipos de género por cada persona que frecuentemente utilizaba a Siri. Por décadas, las mujeres hemos sido asociadas con el trabajo de cuidado y asistencia al público (¡que claro que no desmerece a nadie!), pero más que por nuestras capacidades o estudios, por el hecho de que “por ser mujer” nos asumen automáticamente más detallistas, más atentas, más empáticas, más suaves y un sinfín de cosas más, que no necesariamente somos. Entonces, claro que Siri tenía que tener voz femenina, pues, tiene sentido.
2. Esto no es nada más y nada menos que un sesgo inconsciente en acción, y se llama sesgo de género. Los sesgos no son inherentemente malos, ojo, son como atajos (tipo ctrl+v ctrl+z, pero mentales) para llegar más rápido a tomar decisiones. El riesgo con los sesgos, como en este caso, es que por ir muy rápido (porque es casi en automático), podemos hacer presunciones que más bien, dejan de lado a un grupo de personas o refuerzan ideas infundadas sobre otras, lo que nos aleja del objetivo de ser una comunidad justa donde le damos oportunidad a todas las personas.
3. Hoy, Siri tiene disponible toda clase de voces, en un esfuerzo por mitigar el estereotipo de que asistente virtual = mujer y reflejar la diversidad de personas que usan el sistema operativo de Apple.
4. Aún así, ¿has notado que, prácticamente, todas las otras AI de asistencia virtual tienen un nombre femenino? Ya vengo mencionado a Alexa de Amazon varias veces, también está Cortana, de Microsoft, y te dejo como reto fijarte en los nombres o imágenes que otras aplicaciones o servicios utilizan como “rostro” de sus programas de asistencia virtual. ¿Cuántos de ellos rompen con el estereotipo? O, más bien, ¿cuántos lo perpetúan?
   

Si quieren ver cómo ha ido cambiando la respuesta de Siri a través de los años (y no solo Siri, sino también la de Cortana (Microsoft) y Alexa (Amazon) a otros comentarios de ligero corte piropeador/acosador, les dejamos esta tabla elaborada por Leah Fessler para Quartz, que da cuenta de las respuestas comparativas de los años 2017 al 2020. Podemos ver cómo en los últimos años, Apple y también las demás compañías, se dieron cuenta de que determinadas respuestas a estos comentarios reforzaban estereotipos vinculados a mujeres en determinadas ocupaciones, como las mujeres en cargos de asistencia, e, incluso, perpetúan la normalización de situaciones de acoso hacia ellas:

¿Recuerdas el pedido que te hice al inicio? ¿Qué nombre le pusiste a nuestra aplicación, que por supuesto, es un programa de asistente virtual (como ya te debes haber dado cuenta)? ¿Te pasó como Apple y Siri en el 2011?

¿Qué consecuencias puede traer que los sesgos se trasladen a las aplicaciones que utilizamos diariamente? Como ya lo comentábamos, la principal consecuencia de que el sesgo de género se traslade al código que hace funcionar las IA es que los estereotipos de género continuarán perpetuandose a través de nuestras interacciones con estos sistemas.

¿Cómo podemos evitar que esto ocurra? El hecho de que Siri, en un inicio, y Alexa, o que el bot de tu app favorita también tenga rostro de mujer y atuendo de secretaria sea algo que ocurre hasta hoy, pasa principalmente porque los equipos detrás de estas herramientas no son lo suficientemente diversos. No hay una diversidad que se vea reflejada en el algoritmo que le da vida a estas IA.

Podríamos pensar que este panorama es diferente en compañías como Google, que lideran los avances en desarrollo de inteligencia artificial, pero la verdad es que no. Mientras que hay progreso en los últimos años, por ejemplo el porcentaje de mujeres en cargos técnicos en Google pasó de 16.6% en el 2014 a 23.6% en el 2020, sabemos que hay un largo camino aún hasta la paridad de género en este campo. Y la realidad es aún más retadora si pensamos en mujeres que pertenecen a minorías históricamente discriminadas, como mujeres afrodescendientes o latinoamericanas, que ocupan menos del 2% de puestos de liderazgo en compañías en Silicon Valley.

Por eso es que la UNESCO y la Comisión Europea comparten el énfasis en que la tecnología refleja los valores de sus desarrolladores y que la inclusión de mujeres en el proceso de construcción de las IA debe ser una decisión activa por parte de las organizaciones.

Promover la participación de más mujeres en el desarrollo de AI y tecnología es esencial para visibilizar realidades que, durante muchos años de un campo predominantemente masculino, no han sido atendidas. Además, su inclusión ayudará a identificar y prevenir sesgos vinculados a género, así como estereotipos que incluso podrían estar muy cercanos a conductas que normalizan el sexismo en nuestras vidas diarias. Lo ideal es -si no es mucho pedir- llegar a un momento en el que a nadie se le ocurra preguntarle a su asistente virtual si “está bonita” o “si está lista para salir de noche”.

Referencias:

Comisión Europea, 2016. A New Comprehensive Digital Skills Indicator

https://ec.europa.eu/digital-single-market/en/news/new-comprehensive-digital-skills-indicator

UNESCO, Equals Skills Coalition, 2019. I’d blush if I’d could: closing gender divides in digital skills through education

https://unesdoc.unesco.org/ark:/48223/pf0000367416

Brookings, 2020. How AI bots and voice assistants reinforce gender bias

https://www.brookings.edu/research/how-ai-bots-and-voice-assistants-reinforce-gender-bias/

__________