Las herramientas de inteligencia artificial muestran sesgos en la clasificación de los nombres de los solicitantes de empleo según la raza y el género percibidos

Table of Contents

El futuro de la contratación, al parecer, está automatizado. Los solicitantes ahora pueden usar robots de inteligencia artificial para postularse a miles de ofertas de trabajo. Y las empresas, que desde hace tiempo han automatizado partes del proceso, ahora están implementando los últimos modelos de lenguaje extenso de IA para escribir descripciones de puestos, examinar currículos y seleccionar a los solicitantes. Se estima que el 99% de las empresas de Fortune 500 ahora utilizan alguna forma de automatización en su proceso de contratación.

Una investigación de la Universidad de Washington encontró un sesgo racial, de género e interseccional significativo en la forma en que tres grandes modelos lingüísticos de última generación, o LLM, clasificaban los currículos. Crédito de la imagen: Foto de Alejandro Escamilla en Unsplash

Esta automatización puede aumentar la eficiencia y algunos afirman que puede hacer que el proceso de contratación sea menos discriminatorio. **Pero una nueva investigación de la Universidad de Washington encontró un sesgo racial, de género e interseccional significativo en cómo tres modelos de lenguaje extensos de última generación, o LLM, clasificaban los currículos. Los investigadores variaron los nombres asociados con hombres y mujeres blancos y negros en más de 550 currículos del mundo real y descubrieron que los LLM favorecían los nombres asociados con blancos el 85% de las veces, los nombres asociados con mujeres sólo el 11% de las veces y nunca favorecían los nombres asociados con hombres negros sobre los nombres asociados con hombres blancos.

El equipo presentó su investigación el 22 de octubre en la Conferencia AAAI/ACM sobre Inteligencia Artificial, Ética y Sociedad en San José.

“El uso de herramientas de inteligencia artificial para los procedimientos de contratación ya está muy extendido y está proliferando más rápido de lo que podemos regularlo”, dijo la autora principal Kyra Wilson, estudiante de doctorado de la Facultad de Información de la UW. “Actualmente, fuera de una ley de la ciudad de Nueva York, no hay una auditoría regulatoria e independiente de estos sistemas, por lo que no sabemos si están sesgados y discriminan en función de características protegidas como la raza y el género. Y como muchos de estos sistemas son propietarios, estamos limitados a analizar cómo funcionan aproximándonos a los sistemas del mundo real”.

Estudios anteriores han descubierto que ChatGPT muestra sesgo racial y de discapacidad al clasificar los currículos. Pero esos estudios fueron relativamente pequeños (sólo se utilizó un currículo o cuatro ofertas de trabajo) y el modelo de inteligencia artificial de ChatGPT es una denominada “caja negra”, lo que limita las opciones de análisis.

El equipo de la UW quería estudiar los programas de lenguaje extenso de código abierto y hacerlo a gran escala. También quería investigar la interseccionalidad entre razas y géneros.

Los investigadores variaron 120 nombres asociados con hombres y mujeres blancos y negros en los currículos. Luego utilizaron tres LLM de última generación de tres empresas diferentes (Mistral AI, Salesforce y Contextual AI) para clasificar los currículums como solicitantes para más de 500 listados de trabajos del mundo real. Se trata de nueve ocupaciones, entre ellas, trabajador de recursos humanos, ingeniero y docente, lo que supone más de tres millones de comparaciones entre currículos y descripciones de puestos de trabajo.

Luego, el equipo evaluó las recomendaciones del sistema en estos cuatro grupos demográficos para determinar su significación estadística. El sistema prefirió:

nombres asociados a blancos el 85% del tiempo versus nombres asociados a negros el 9% del tiempo;
nombres asociados a blancos el 85% del tiempo versus nombres asociados a negros el 9% del tiempo;

El equipo también analizó las identidades interseccionales y descubrió que los patrones de sesgo no son simplemente la suma de las identidades raciales y de género. Por ejemplo, el estudio mostró la disparidad más pequeña entre nombres típicamente blancos de mujer y típicamente blancos de hombre. Además, los sistemas nunca dieron preferencia a los nombres percibidos como masculinos negros en lugar de los nombres masculinos blancos. Sin embargo, también prefirieron nombres típicamente femeninos negros el 67% de las veces, frente al 15% de las veces en el caso de los nombres típicamente masculinos negros.

“Encontramos este daño realmente único contra los hombres negros que no era necesariamente visible al observar solo la raza o el género de manera aislada”, dijo Wilson. “La interseccionalidad es un atributo protegido solo en California en este momento, pero observar combinaciones multidimensionales de identidades es increíblemente importante para garantizar la imparcialidad de un sistema de inteligencia artificial. Si no es justo, debemos documentarlo para que se pueda mejorar”.

Futuro
#

El equipo señala que las investigaciones futuras deberían explorar enfoques de reducción de sesgos y daños que puedan alinear los sistemas de IA con las políticas. También debería investigar otros atributos protegidos, como la discapacidad y la edad, así como examinar más identidades raciales y de género, con énfasis en las identidades interseccionales.

“Ahora que los sistemas de IA generativa están ampliamente disponibles, casi cualquier persona puede usar estos modelos para tareas críticas que afectan su propia vida y la de otras personas, como la contratación”, dijo la autora principal Aylin Caliskan, profesora adjunta de la UW en la iSchool. “Las pequeñas empresas podrían intentar utilizar estos sistemas para hacer más eficientes sus procesos de contratación, por ejemplo, pero esto conlleva grandes riesgos. El público debe comprender que estos sistemas están sesgados. Y más allá de los daños en la asignación de recursos, como la discriminación y las disparidades en la contratación, este sesgo moldea significativamente nuestras percepciones sobre la raza, el género y la sociedad”.

Esta investigación fue financiada por el U.S. National Institute of Standards and Technology.
El artículo AI tools show biases in ranking job applicants’ names according to perceived race and gender, con la firma de Stefan Milne, fue publicado en el sitio de la University of Washington