INTELIGENCIA ARTIFICIAL

¿Neutrales y objetivos? Los algoritmos también son racistas y machistas

Efefuturo.- Como trabajan con datos y realizan operaciones matemáticas, impera la idea de que los algoritmos son objetivos y neutrales, pero pueden reproducir sesgos y prejuicios humanos: a veces sus resultados están impregnados de machismo, racismo o información no veraz.

<p>Imagen de archivo que muestra el tamaño de un chip en comparación con un dedo. EFE/Ahmad Yusni</p>

Imagen de archivo que muestra el tamaño de un chip en comparación con un dedo. EFE/Ahmad Yusni

Servicios de imágenes que etiquetan como gorilas a personas de raza negra, anuncios de puestos de trabajo de alta cualificación que se muestran más a hombres que a mujeres, predicciones de reincidencia criminal que castigan el doble a la población afroamericana, propagación de noticias falsas o posicionamiento de webs antisemitas son algunos ejemplos de estos sesgos.

Un algoritmo es un programa de software que funciona como una receta de cocina: a partir de unos ingredientes (un input de datos), sigue unas instrucciones determinadas para hacer algo.

Así trabajan el buscador de Google -que destaca unos resultados de búsqueda sobre otros-, el muro de Facebook -que determina el orden en que aparecen las publicaciones-, las recomendaciones de compra de Amazon o las sugerencias de Netflix.

En pleno auge de la inteligencia artificial, los algoritmos empiezan a ser ubicuos: se utilizan en medicina, en procesos penales, en investigación policial, en concesión de hipotecas o en procesos de selección de personal.

La industria tecnológica defiende que la actividad algorítmica es más eficaz que el análisis humano, ya que las máquinas son más rápidas y están libres de desviaciones, pero esta asunción extendida es incorrecta.

Y lo es porque los algoritmos los programan seres humanos, que tienen una visión del mundo que pueden trasladar implícitamente al diseño del sistema, porque funcionan con datos que no siempre son veraces ni representativos de la realidad y porque muchas veces aprenden del comportamiento humano -por ejemplo, un buscador resalta lo más buscado-.

“Los algoritmos pueden generar resultados sesgados en función de distintos factores tales como su diseño e implementación y los datos que utilizan. La información con la que funcionan puede contener prejuicios o sesgos”, explica a Efe la investigadora de la Universidad de Nueva York y de Microsoft Research Kate Crawford.

“Al igual que en otro tipo de diseños, como la arquitectura, la perspectiva subjetiva del diseñador cala las estructuras y reglas del sistema. Si, por ejemplo, el diseñador de un algoritmo de contratación basa el criterio de selección en su experiencia personal, los candidatos seleccionados responderán a esos juicios”, continúa.

Los datos que refuerzan los prejuicios

La élite de Silicon Valley está integrada en su mayoría por hombres jóvenes de raza blanca y eso tiene un impacto en la creación de estas herramientas.

Un algoritmo puede heredar los prejuicios de su creador, pero también ofrecer resultados sesgados porque trabajan con conjuntos de datos no representativos que pueden no tener en cuenta, infrarrepresentar o sobrerrepesentar a determinados colectivos. O con datos falsos o imprecisos.

“Por ejemplo, si el algoritmo está aprendiendo a predecir complicaciones quirúrgicas de un subgrupo de población en el que no se incluye ninguna raza minoritaria, el sistema no aprenderá nada relativo a las peculiaridades de ese grupo”, subraya la profesora de la Duke University e impulsora de la iniciativa Women in Machine Learning Katherine Heller.

Y esos sesgos, denuncia Heller, pueden tener graves consecuencias para los individuos que quedan al margen de sus resultados o salen peor parados en ellos, que suelen ser minorías o colectivos que sufren sexismo, racismo u homofobia.

Google ha tenido que dar varias veces explicaciones por la actividad de sus algoritmos. La última, la semana pasada, cuando el diario The Guardian alertó de que sus recomendaciones de autocompletado de la caja de búsqueda, que pretenden predecir las frases buscadas a partir de la primera palabra tecleada, asociaban a mujeres, judíos y musulmanes con el adjetivo “malos”.

Opciones que, si se elegían, redireccionaban a resultados de búsquedas que incluyen páginas web con contenidos misóginos, antisemitas y racistas. Y cuantos más clics, mejor posicionamiento porque el algoritmo aprende del comportamiento del internauta.

Los sesgos de los usuarios

Google insiste en que la función de autocompletar es automática y refleja la actividad de búsqueda de otros usuarios y del contenido de las webs.

“Periódicamente actualizamos nuestros sistemas para mejorar la búsqueda, por lo que los términos que aparecen en autocompletar pueden variar a lo largo del tiempo. Excluimos únicamente un pequeño grupo de preguntas relacionadas con la pornografía, la violencia, el discurso de odio y la violación de los derechos de autor”, declara la compañía.

La automatización le ha dado algún que otro disgusto a la tecnológica californiana: el año pasado, el etiquetado algorítmico de su servicio Google Photos clasificó a personas de raza negra como primates.

“El algoritmo aprende a partir de las imágenes con las que trabaja, que suelen elegir los ingenieros, y el sistema construye una representación del mundo a partir de esas imágenes. Si se le entrena con fotos de gente mayoritariamente blanca, le costará mas identificar los rostros de personas que no lo sean”, precisa Crawford.

Ambas investigadoras piden mayor diversidad en los equipos de desarrollo: “Evitar todos los sesgos es complicado”, concede Crawford, pero un grupo diverso de trabajo contribuiría a asegurar que no prevalezcan perspectivas dominantes porque es más fácil detectar las desviaciones y “minimizar los potenciales puntos ciegos culturales”.

Ha habido más ejemplos en los que los resultados de Google han tenido tintes racistas o machistas: investigadores de la universidad Carnegie Mellon detectaron que mostraba anuncios de puestos profesionales altamente cualificados más a hombres que a mujeres.

También se encontró que las búsquedas de nombres más asociados a la comunidad afroamericana devolvían con más frecuencia anuncios sobre servicios de registros criminales que las de nombres típicos de la población blanca.

Pero no sólo Google ha sido objeto de críticas por sus desviaciones: ProPublica descubrió que el algoritmo judicial estadounidense Compas, que trata de predecir la tasa de reincidencia de los criminales, atribuía a los ciudadanos de raza negra el doble de probabilidad de delinquir que a los blancos.

Diseño más consciente

La investigadora Crawford, que participó este año en el simposio de inteligencia artificial celebrado en la Casa Blanca, exige que se analice el impacto social y cultural que tienen los algoritmos.

“Me preocupan las consecuencias que puedan tener los sesgos. Surgen problemas serios si afectan de forma desproporcionada a poblaciones vulnerables, especialmente en áreas como el empleo, la vivienda, la salud o la justicia”, reflexiona.

Y pone como ejemplo los mapas de calor que tratan de identificar a las personas que tienen más probabilidad de estar involucradas en un tiroteo: se demostró que uno desplegado en Chicago era completamente inútil porque no reducía la criminalidad, pero sí los abusos policiales sobre determinados colectivos.

Poco a poco, a raíz de estos casos, la ciudadanía empieza a ser consciente de que el software no está libre de la influencia humana y puede reforzar los prejuicios. Pero poco se sabe de cómo funcionan estos programas, son cajas negras, ya que las compañías son opacas y reticentes a dar información sobre ellos.

¿Cómo puede un usuario afectado ser consciente de que el algoritmo lo está tratando peor que a otro?

“Esto requiere una reflexión explícita a la hora de diseñar el algoritmo. Debemos preguntarnos ¿hay sesgos en los datos? ¿Estamos haciendo conjeturas que contribuyen a reforzar los prejuicios? Nunca va a ser perfecto y al final los usuarios denunciarán sesgos. Y esas denuncias deben tomarse muy en serio”, afirma Heller.

Por su parte, Crawford subraya que urge el desarrollo de infraestructuras de medida, testeo y respuesta a los sesgos, “sistemas de análisis social de la inteligencia artificial” que evalúen el impacto social, cultural y político de estas herramientas.

Los algoritmos, especialmente los de Google y Facebook, ya dejan huella en la forma en la que los ciudadanos modelan su idea del mundo, por eso es necesario un diseño que trate de evitar los prejuicios y falsedades. Transparencia, justicia, ética o precisión son términos que pueblan el discurso de Crawford.

“Para empezar, investigadores de academia e industria han de empezar a estudiar cómo el acceso a la información, la riqueza y los servicios básicos de las distintas comunidades modelan los datos que sirven de entrenamiento a los sistemas de inteligencia artificial”, asevera.

“Tenemos mucho camino que recorrer, pero el esfuerzo resulta crítico porque la inteligencia artificial cada vez está más imbricada en nuestra vida cotidiana”, concluye.

Publicado en: Tecnología

10:00

Máster de Periodismo de Agencia

BANNER_I-a-la-carta_cibertienda_300X250

BANNER_I-a-la-carta_cibertienda_300X250

CyT en 60 minutos #CyTen60min

DialogosComunicación_300x125_SmartCity

DialogosComunicación_300x125_SmartCity

verde_gif_300x90

verde_gif_300x90Blogs de ciencia y tecnología

Blogosfera de Ciencia y Tecnología

Información medioambiental
Map

Uso de cookies

Utilizamos cookies propias y de terceros para mejorar nuestros servicios y mostrarle publicidad relacionada con sus preferencias mediante el análisis de sus hábitos de navegación. Si continúa navegando, consideramos que acepta su uso. Puede obtener más información, o bien conocer cómo cambiar la configuración, en nuestra política de cookies, pinche el enlace para mayor información.

Login

Registro | Contraseña perdida?