Siempre me ha encantado el debate de si la tecnología es inherentemente buena o mala: He dedicado la mayoría de mi vida académica a la estética de la tecnología, uno de mis libros favoritos es Sueñan los Androides con Ovejas Eléctricas y mi género favorito (de cine y novela) es la ciencia ficción. Solía pasar el rato analizando películas de ciencia ficción: por la estética de una peli se puede ver si los creadores veían el futuro con esperanza o miedo, independientemente del argumento. Por ejemplo, Blade Runner: malo. Alien 1: bueno. Alien 3: malo malo malo. Yo, Robot, bueno bueno.
Así que la tecnología y yo tenemos una historia. No siempre es una buena historia, la verdad. A veces pienso que la tecnología es mi amante tóxica. Cuando estoy investigando otra cosa siempre pienso que ojalá pudiese estar investigando algo relacionado con la inteligencia artificial o algoritmos. Y cuando tengo la oportunidad de investigar sobre tecnología, me chupa la vida. Yo siempre me acerco al tema pensando que voy a extraer algún tipo de conocimiento oculto sobre el mundo actual, pero hasta la fecha aún no ha pasado (a no ser que consideres la máquina del capitalismo como oculta, que casi no). Como buena relación tóxica, sigo pensando que algo va a cambiar. Igual también hay un poco de gaslighting ahí porque a veces pienso que es mi culpa, que no soy lo suficientemente inteligente para entender.
Si me pillas en mis días de alta autoestima, me inclino más por pensar que la tecnología, como campo de investigación, es como una pintura impresionista. Desde lejos es fascinante y compleja, así que te acercas para ver cómo funciona esa magia. Pero si te colocas a un palmo solo verás manchas de pintura sin forma o nexo entre ellas. Lo que quiero decir con esto es que nuestras tecnologías no tienen una mente propia: Están inextricablemente enredadas en sus creadores, sus usuarios, el sistema económico y un millón de cosas más. Cuando miramos la tecnología de cerca no va de robots subyugando a los humanos, en su mayor parte va de humanos siendo unos gilipollas. Y esa historia, ah, esa historia nos la sabemos muy bien.
Últimamente me he estado centrando en el racismo en la tecnología. Creo que todos estamos un poquito más despiertos sobre el racismo hoy que hace un año, o al menos quiero creerlo. Si eres blanca, privilegiada y vives en un núcleo urbano, si estás leyendo esto (maldito algoritmo que solo nos lleva a los rincones del internet con opiniones similares a las nuestras), probablemente no eres racista, al menos no conscientemente. Pero una de las cosas de las que muchos somos más conscientes ahora es cómo de incrustado está el racismo en nuestra sociedad, y no solo en el sur de los Estados Unidos, y no solo en los pueblos pequeños. No es un cliché, es un hecho. A veces sucede por omisión. Ahora, si eres católico, la omisión solo es un pecado si sucede deliberadamente. Quizás no es deliberado, pero aún así hay que arreglarlo.
Esta omisión es flagrante en tecnología, es como si ni siquiera se planteasen que hay humanos que no son blancos. Silicon Valley y su cultura de bros tampoco ayuda. Están desconectados con las necesidades de cualquiera que sea distinto a ellos. Me recuerda a cuando la NASA mandó a la primera mujer americana al espacio, Sally Rice, y los ingenieros le preguntaron si 100 tampones le serían suficientes para un viaje de 7 días.
Perdida con COMPAS
En 2015 la periodista de tecnología y sociedad Julia Angwin publicó un artículo muy polémico. Angwin había investigado el algoritmo COMPAS, que se usa en algunos estados de EE.UU. para analizar el riesgo de convictos que solicitan la libertad condicional. COMPAS procesa información sobre el solicitante; sus antecedentes penales, su nivel de educación y sus respuestas a una entrevista en persona. Con estos datos el sistema determina si el criminal tiene posibilidades de volver a delinquir.
Al procesar toda esta información COMPAS asigna una puntuación al inculpado, y este número indica la probabilidad de que la persona vuelva a ser arrestada por otra ofensa en el futuro. Lo que Angwin descubrió es que el margen de error para los inculpados negros era de 45%, comparado con un mero 23% para los blancos en la misma situación. A las personas de color se las estaba poniendo en una categoría de riesgo mayor de la que les correspondía, incluso aunque acabaran no cometiendo otro crimen. Los creadores del COMPAS afirmaban que su algoritmo estaba bien calibrado por acusados blancos y negros.
Lo que debemos tener en cuenta aquí, es que la polémica de COMPAS no fue una trifulca de Twitter. Estos eran artículos con mucha investigación detrás, análisis estadísticos y argumentos bien construidos. Cuando los creadores del algoritmo dicen que estaba bien calibrado, tenían los datos para respaldarlo. También fue un tema muy comentado en el mundillo en aquel año. No tan popular como la conspiración de que Jeffree Star esté saliendo con Kanye West, pero le llega bien.
Usando COMPAS hay una posibilidad del 60% de que un inculpado negro sea clasificado como de “alto riesgo”, mientras que los blancos tienen una probabilidad del 34%. Pero como hemos dicho, el algoritmo tiene un margen de error mayor para los inculpados negros. Esto quiere decir que si eres negro podrían darte una condena más larga de la que te mereces, o te podrían denegar la libertad condicional incluso aunque no fueses a cometer otro crimen. Sin embargo, si eres blanco, tienes más probabilidad de recibir un falso negativo, es decir; que salgas de la cárcel antes incluso aunque vayas delinquir de nuevo. Esto es obviamente preocupante.
El matemático David Sumpter también analizó los números. Después, contrató a gente para que también analizase los números. Para ahorrarnos las matemáticas duras, lo que Sumpter descubrió es que si recalibras el algoritmo específicamente para evitar que haya sesgo, la injusticia asoma su cabecita por otro lado. Sumpter dice que es como uno de esos juegos de ferias americanos en los que te dan un mazo y tienes una mesa con agujeros de los que salen topos de plástico. Cada vez que golpeas uno de los monigotes, sale otro. Si intentas eliminar el sesgo, surgen otros falsos negativos y positivos, y siempre sale un grupo perdiendo. El algoritmo no entiende los matices de la justicia social, él solo procesa los números. Somos nosotros los que, sin querer, introducimos sesgo en nuestras tecnologías.
Redlining digital
Creo que el ejemplo de COMPAS puede ser demasiado complejo para explicar en toda su gloria, como si tanto número y porcentaje reflejase lo confundidos que nos sentimos ante el sesgo tecnológico. Con los siguientes ejemplos veréis que el sesgo no es una posibilidad: es un hecho.
Redlining es un ejemplo muy claro de racismo institucional. Durante la Gran Depresión en los Estados Unidos, se fundó el Consejo Federal de Préstamos residenciales para dar préstamos sobre casas con bajo interés. Esta organización creó un mapa de vecindarios por colores: las áreas rojas eran poco deseables para recibir un préstamo y las verdes eran de bajo riesgo. Otras instituciones y negocios empezaron a usar estos mapas. Un banco en California usaba esta práctica de redlining en áreas del centro de Los Ángeles, con anotaciones al margen que decían “gran concentración de japoneses y negros”. En el país de las oportunidades, si no puedes conseguir una casa en un buen barrio, tampoco puedes acceder a un distrito escolar decente, así que tus hijos no recibirán el tipo de educación que les permita acceder a las mejores universidades, lo que se traduce en trabajos peor pagados. Y así sigue.
La práctica de redlining se hizo ilegal en 1968 pero sus consecuencias aún nos afectan hoy. Hoy en día las empresas tienen programas informáticos para decidir si conceden préstamos, seguros o si se contrata a cierto empleado o no. Como vimos con COMPAS, ni siquiera los modelos matemáticos están libres de sesgo, y aunque estas empresas no estén haciendo redlining abiertamente también podemos estar seguro de que tienen algún sistema que perjudica la diversidad. Redlining también aparece en las apps más inesperadas, como Pokémon Go.
En 2016 parecía que todo el mundo estaba jugando a Pokémon Go. Yo misma estaba correteando por Edinburgo con una tablet porque mi teléfono no soportaba la app. Mientras tanto, en Estados Unidos barrios enteros eran sometidos al redlining. Los usuarios notaron que barrios con residentes predominantemente latinos o negros tenían menos pokeparadas y gimnasios que los vecindarios blancos, y empezaron a usar el hashtag #mypokehood en Twitter para informarse de las localizaciones de las pokeparadas. Algunas de las áreas con menos pokeparadas eran los barrios con población negra de Detroit, Miami y Chicago. En Nueva York, zonas como Brooklyn y Queens, en donde hay muchos vecinos latinoamericanos y negros.
¿Por qué pasa esto? Porque Pokémon Go usa el mismo mapa base que otro juego de realidad aumentada, Ingress. Ingress es de la misma compañía que Pokémon Go, y los mapas los creaban los usuarios poniendo portales o señalando zonas de batalla. Como el jugador medio era blanco, joven y angloparlante, las localizaciones de Pokémon Go no tienen en cuenta la diversidad.
Irreconocible
La tecnología es hostil a cualquiera que no sea blanco incluso en las cuestiones más triviales, como los dispensadores de agua y jabón en baños públicos. En este vídeo podemos ver que el dispensador ignora completamente la mano de tez más oscura, mientras que cuando su amigo blanco pone la mano funciona perfectamente.
El grifo no es el único con sensores racistas: las cámaras digitales Nikon también tenían un sistema de reconocimiento facial, y al fotografiar personas con rasgos asiáticos preguntaba si alguien había pestañeado, porque interpretaba los ojos rasgados como ojos cerrados. Claramente, los creadores no tuvieron en cuenta más de un tipo de ojo cuando pusieron en marcha su sistema de reconocimiento facial.
Como el chico del grifo racista, podemos reírnos y tomárnoslo como un error sin importancia. Pero no es solo grifos y cámaras. Poco a poco, las tecnologías de reconocimiento facial van incorporándose a nuestras vidas, y cada vez es más importante revisar bajo qué criterios se desarrollan estos sistemas. La informática y activista Joy Buolamwini se dio cuenta de los defectos de los sistemas de reconocimiento facial en 2018, cuando empezó a estudiar en el MIT y notó que nunca reconocían su cara ni la de otras compañeras de piel oscura. Buolamwini dedicó su investigación a los tres software de reconocimiento facial líderes en el mercado: Microsoft, IBM y Megvii. La activista digital descubrió que el reconocimiento facial funciona en 99% de los hombres blancos, pero tiene un margen de error del 35% en mujeres de piel oscura. También probó con fotos de mujeres negras muy conocidas, como Michelle Obama, Oprah y Serena Williams.
Para enseñarle reconocimiento facial a una máquina es necesario crear un kit con ejemplos de caras. Se suministran las imágenes al ordenador diciéndole “esto es una cara” o “esto no es una cara”, y después de un tiempo el sistema aprenderá a reconocer las caras. El problema surge cuando el ordenador no recibe un abanico diverso de caras. Si las caras que le das al sistema para aprender son predominantemente blancas, es normal que la máquina tenga dificultades para reconocer caras de otras razas.
Los defectos del reconocimiento facial aún son más preocupantes si pensamos que este tipo de tecnologías ya se usan en varios aspectos de la vida diraria. En algunos departamentos de policía, como el de Portland, Oregon, usan Amazon Rekognition para encontrar a sospechosos. La policía coteja las fotos de detenidos con vídeos y fotos que reciben de testigos o de cámaras de vigilancia en establecimientos. La compañía aérea JetBlue también empezó a usar reconocimiento facial para embarcar algunos vuelos. En teoría lo usan para identificar a aquellos viajeros que permanecen en el país después de que expire su visado, pero lo más probable es que el reconocimiento facial en aeropuertos se convierta en la norma. Por supuesto, los viajeros pueden declinar su uso y entregar los documentos necesarios en mano, pero cuando el reconocimiento facial esté por todos lados va a ser demasiado incómodo.¿Vas a declinar los escáneres al facturar la maleta, al pasar el control de seguridad y luego en la puerta de embarque? Al final, con las cosas de la tecnología, la comodidad siempre gana.
La liga de la justicia algorítmica
Si el reconocimiento facial va a acabar siendo omnipresente, es imperativo crear software que excluya prácticas discriminatorias. En 2018, Buolamwini creó la Liga de la Justicia Algorítmica https://www.ajl.org/, una organización para concienciar a la gente sobre los impactos de la inteligencia artificial. Buolamwini dice que las instituciones tienen el deber de crear tecnologías inclusivas, para lo cual las empresas han de hacer cambios.
Primero, es importante contratar un equipo diverso, tanto en términos de raza como de trasfondo, porque así en lo que no se fijen unos se fijarán los otros. Segundo, en el proceso de desarrollar un sistema la ecuanimidad ha de ser un factor del mismo modo que lo es la eficiencia o la funcionalidad. Y por último, hay que pensar en los objetivos de los sistemas que creamos. No se puede decir mejor que como lo dice ella:
“Hemos usado herramientas de creación digital para conseguir inmensa riqueza, pero ahora tenemos la oportunidad de conseguir más igualdad si hacemos que el cambio social sea nuestra prioridad en lugar de una nota a al pie de página”
De este modo, no tendremos que pasarnos los siguientes diez años corrigiendo nuestro racismo tecnológico, sino que aprenderemos a dejar de generarlo.
REFERENCIAS
Akhtar, Allana. “Is Pokémon Go racist? How the app may be redlining communities of color”, Usa Today, Aug 9, 2016 https://eu.usatoday.com/story/tech/news/2016/08/09/pokemon-go-racist-app-redlining-communities-color-racist-pokestops-gyms/87732734/
Bogado, Aura. “Gotta catch ‘em all? It’s a lot easier if you’re white”, Grist, Jul 19, 2016
https://grist.org/justice/gotta-catch-em-all-its-a-lot-easier-if-youre-white/
Harwell, Drew. “Facial-recognition use by federal agencies draws lawmakers’ anger”, The Washington Post, July 9, 2019. https://www.washingtonpost.com/technology/2019/07/09/facial-recognition-use-by-federal-agencies-draws-lawmakers-anger/
Larson, Jeff; Mattu, Surya, Kirchner, Lauren and Angwin, Julia. “How we analized the COMPAS recidivism Algorithm”, ProPublica, May 23, 2016. https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm
Lohr, Steve. “Facial Recognition is Accurate, if You’re a White Guy”, The New York Times, Feb.9, 2018. https://www.nytimes.com/2018/02/09/technology/facial-recognition-race-artificial-intelligence.html
Sharp, Gwen. “Nikon camera says asians: people are always blinking”, The Society Pages, May 29, 2009. https://thesocietypages.org/socimages/2009/05/29/nikon-camera-says-asians-are-always-blinking/
Smith, Gary. “High-tech redlining: AI is quietly upgrading institutional racism”, Fast Company, Nov. 20, 2018. https://www.fastcompany.com/90269688/high-tech-redlining-ai-is-quietly-upgrading-institutional-racism
Sumpter, David. Outnumbered: From Facebook and Google to Fake News and Filter-bubbles – the Algorithms that control our lives. London: Bloomsbury Sigma, 2018.