Un grupo de investigadores de la Universidad de Hong Kong publicó el 22 de marzo de 2024 un paper advirtiendo sobre los sesgos presentes en los grandes modelos de lenguaje, concretamente en ChatGPT de OpenAI. El paper se titula: Measuring gender and racial biases in large language models: Intersectional evidence from automated resume evaluation (Medición de sesgos de género y raciales en modelos lingüísticos a gran escala: evidencia interseccional a partir de la evaluación automatizada de currículos).
Metodología
Los autores usaron currículums reales obtenidos de portales de empleo para identificar patrones habituales de experiencia laboral, estudios y competencias. Con esos patrones, crearon currículums ficticios que resultaban creíbles. Después, asignaron al azar a cada currículum un nombre, asociado claramente a uno de cuatro perfiles: mujer negra, mujer blanca, hombre negro y hombre blanco. El perfil profesional era equiparable y la única diferencia relevante era la identidad de género y raza sugerida por el nombre.
En total, elaboraron unos 361.000 currículums, repartidos de forma equilibrada entre los cuatro grupos. Los utilizaron para simular candidaturas a 20 empleos de nivel inicial en los estados de California, Florida, Georgia, Nueva York y Texas. Finalmente, pidieron a GPT-3.5 que puntuara cada currículum de 0 a 100.
El trabajo se centra exclusivamente en puestos de nivel inicial y en currículums con un formato estandarizado. Por tanto, se desconoce el comportamiento del modelo en puestos de alta cualificación.
Sesgos de género y raza
El principal hallazgo es claro: ante currículums con experiencia, formación y habilidades equivalentes, el modelo tendió a puntuar mejor a las mujeres, tanto negras como blancas. En cambio, asignó las puntuaciones más bajas a los hombres negros con cualificaciones comparables.
Por tanto, el sesgo no opera simplemente a favor o en contra de las minorías: depende de la combinación de género y raza. El modelo penaliza a los hombres negros.
Sesgos ideológicos
Los autores descubrieron que el sesgo varía según la orientación política del estado del candidato.
Según el resultado electoral de 2020, California y Nueva York se calificaron como estados demócratas y Florida, Georgia y Texas como republicanos. Los autores observaron que el trato favorable hacia las mujeres es más pronunciado en los estados demócratas, mientras que el sesgo contra los hombres negros es mayor en los estados republicanos.
Los propios autores advierten que estos resultados deben apreciarse con cautela, ya que la muestra cubre solo cinco estados y el prompt no incluye información política explícita.
Conclusión
Las decisiones de diseño, datos de entrenamiento, filtrado y alineamiento condicionan los resultados de los modelos. El objetivo es lograr su neutralidad para superar los sesgos, pero no es una tarea sencilla si detrás hay humanos con perjuicios sociales.
