Skip to main content
  1. Posts/

Las herramientas de inteligencia artificial muestran sesgos en la clasificación de los nombres de los solicitantes de empleo según la raza y el género percibidos

·5 mins
Ricardo Daniel González Guinder, Divulgador
Inteligencia Artificial Modelos De Lenguaje Extenso LLM Sesgos
Ricardo Daniel González
Author
Ricardo Daniel González
Ciencias planetarias, astronomía, horticultura urbana agroecológica, poesía, filosofía, fotografía, varios.
Table of Contents

El futuro de la contratación, al parecer, está automatizado. Los solicitantes ahora pueden usar robots de inteligencia artificial para postularse a miles de ofertas de trabajo. Y las empresas, que desde hace tiempo han automatizado partes del proceso, ahora están implementando los últimos modelos de lenguaje extenso de IA para escribir descripciones de puestos, examinar currículos y seleccionar a los solicitantes. Se estima que el 99% de las empresas de Fortune 500 ahora utilizan alguna forma de automatización en su proceso de contratación.

Foto de Alenjandro Escamilla
Una investigación de la Universidad de Washington encontró un sesgo racial, de género e interseccional significativo en la forma en que tres grandes modelos lingüísticos de última generación, o LLM, clasificaban los currículos. Crédito de la imagen: Foto de Alejandro Escamilla en Unsplash

Esta automatización puede aumentar la eficiencia y algunos afirman que puede hacer que el proceso de contratación sea menos discriminatorio. **Pero una nueva investigación de la Universidad de Washington encontró un sesgo racial, de género e interseccional significativo en cómo tres modelos de lenguaje extensos de última generación, o LLM, clasificaban los currículos. Los investigadores variaron los nombres asociados con hombres y mujeres blancos y negros en más de 550 currículos del mundo real y descubrieron que los LLM favorecían los nombres asociados con blancos el 85% de las veces, los nombres asociados con mujeres sólo el 11% de las veces y nunca favorecían los nombres asociados con hombres negros sobre los nombres asociados con hombres blancos.

El equipo presentó su investigación el 22 de octubre en la Conferencia AAAI/ACM sobre Inteligencia Artificial, Ética y Sociedad en San José.

“El uso de herramientas de inteligencia artificial para los procedimientos de contratación ya está muy extendido y está proliferando más rápido de lo que podemos regularlo”, dijo la autora principal Kyra Wilson, estudiante de doctorado de la Facultad de Información de la UW. “Actualmente, fuera de una ley de la ciudad de Nueva York, no hay una auditoría regulatoria e independiente de estos sistemas, por lo que no sabemos si están sesgados y discriminan en función de características protegidas como la raza y el género. Y como muchos de estos sistemas son propietarios, estamos limitados a analizar cómo funcionan aproximándonos a los sistemas del mundo real”.

Estudios anteriores han descubierto que ChatGPT muestra sesgo racial y de discapacidad al clasificar los currículos. Pero esos estudios fueron relativamente pequeños (sólo se utilizó un currículo o cuatro ofertas de trabajo) y el modelo de inteligencia artificial de ChatGPT es una denominada “caja negra”, lo que limita las opciones de análisis.

El equipo de la UW quería estudiar los programas de lenguaje extenso de código abierto y hacerlo a gran escala. También quería investigar la interseccionalidad entre razas y géneros.

Los investigadores variaron 120 nombres asociados con hombres y mujeres blancos y negros en los currículos. Luego utilizaron tres LLM de última generación de tres empresas diferentes (Mistral AI, Salesforce y Contextual AI) para clasificar los currículums como solicitantes para más de 500 listados de trabajos del mundo real. Se trata de nueve ocupaciones, entre ellas, trabajador de recursos humanos, ingeniero y docente, lo que supone más de tres millones de comparaciones entre currículos y descripciones de puestos de trabajo.

Luego, el equipo evaluó las recomendaciones del sistema en estos cuatro grupos demográficos para determinar su significación estadística. El sistema prefirió:

  • nombres asociados a blancos el 85% del tiempo versus nombres asociados a negros el 9% del tiempo;
  • nombres asociados a blancos el 85% del tiempo versus nombres asociados a negros el 9% del tiempo;

El equipo también analizó las identidades interseccionales y descubrió que los patrones de sesgo no son simplemente la suma de las identidades raciales y de género. Por ejemplo, el estudio mostró la disparidad más pequeña entre nombres típicamente blancos de mujer y típicamente blancos de hombre. Además, los sistemas nunca dieron preferencia a los nombres percibidos como masculinos negros en lugar de los nombres masculinos blancos. Sin embargo, también prefirieron nombres típicamente femeninos negros el 67% de las veces, frente al 15% de las veces en el caso de los nombres típicamente masculinos negros.

“Encontramos este daño realmente único contra los hombres negros que no era necesariamente visible al observar solo la raza o el género de manera aislada”, dijo Wilson. “La interseccionalidad es un atributo protegido solo en California en este momento, pero observar combinaciones multidimensionales de identidades es increíblemente importante para garantizar la imparcialidad de un sistema de inteligencia artificial. Si no es justo, debemos documentarlo para que se pueda mejorar”.

Futuro
#

El equipo señala que las investigaciones futuras deberían explorar enfoques de reducción de sesgos y daños que puedan alinear los sistemas de IA con las políticas. También debería investigar otros atributos protegidos, como la discapacidad y la edad, así como examinar más identidades raciales y de género, con énfasis en las identidades interseccionales.

“Ahora que los sistemas de IA generativa están ampliamente disponibles, casi cualquier persona puede usar estos modelos para tareas críticas que afectan su propia vida y la de otras personas, como la contratación”, dijo la autora principal Aylin Caliskan, profesora adjunta de la UW en la iSchool. “Las pequeñas empresas podrían intentar utilizar estos sistemas para hacer más eficientes sus procesos de contratación, por ejemplo, pero esto conlleva grandes riesgos. El público debe comprender que estos sistemas están sesgados. Y más allá de los daños en la asignación de recursos, como la discriminación y las disparidades en la contratación, este sesgo moldea significativamente nuestras percepciones sobre la raza, el género y la sociedad”.

Related

Pese a su impresionante producción, la IA generativa no tiene una comprensión coherente del mundo
·6 mins
Ricardo Daniel González Guinder, Divulgador
Inteligencia Artificial Ciencias Informáticas Y Tecnología Machine Learning Algoritmos Economía Laboratory for Information and Decision Systems Electrical Engineering and Computer Science School of Engineering MIT School of Humanities Arts and Social Sciences MIT Schwarzman College of Computing National Science Foundation
Inteligencia artificial encuentra pistas sobre el cáncer a toda velocidad
·3 mins
Ricardo Daniel González Guinder
Simulación Computacional Cáncer Inteligencia Artificial CandyCrunch Modelos Computacionales Química Molecular Biología Molecular Deep Learning Biomarcadores
Descubren un planeta que orbita la estrella más cercana a nuestro Sol
·9 mins
Ricardo Daniel González Guinder, Divulgador
Astrofísica Astronomía Barnard B Estrellas Constelación De Ofiuco ESO VLT Exoplanetas
La reconstrucción del clima andino pasado aporta pistas sobre el cambio climático, y revela que los Andes eran de menor altitud que la actualidad
·8 mins
Ricardo Daniel González Guinder, Divulgador
Cambio Climático Paleogeografía Paleoclimatología Paleoecología Cordillera De Los Andes Cuenca De Quebrada Honda Bolivia Mioceno Ciencias De La Tierra Geología
Neurocientíficos crean mapa completo de la corteza cerebral
·6 mins
Ricardo Daniel González Guinder, Divulgador
Corteza Cerebral Mapa Cortical FMRI Human Connectome Project Neurociencias Cerebro
El potencial de la medicina herbal china para prevenir demencia, Alzheimer, Parkinson
·3 mins
Ricardo Daniel González Guinder, Divulgador
Salud Medicina Demencia Función Cognitiva Ratones Modelo Prevención De Enfermedades Medicina Tradicional China Medicina Preventiva Extractos Celulares Enfermedad De Alzheimer Enfermedad De Parkinson Patología Celular Desarrollo Cognitivo Medicina Alternativa Nutrición