PROTECCIÓN DATA

BLOG

Blog de Protección de Datos | + 800 artículos, guías y plantillas RGPD

Blog
Compartir Facebook Twitter Linkedin
— JAVIER CASAL TAVASCI

El círculo vicioso de la IA complaciente

Investigadores de las Universidades de Stanford y Carnegie Mellon publicaron un estudio titulado Sycophantic AI Decreases Prosocial Intentions and Promotes Dependence (IA aduladora reduce las intenciones prosociales y promueve la dependencia) en el que analizan un fenómeno cada vez más visible: la tendencia de los LLM a validar a sus usuarios, en lugar de cuestionarlos.

Metodología

Los investigadores evaluaron el comportamiento de 11 modelos de IA, entre los que se encontraban GPT-4o, Claude, Gemini, Llama, DeepSeek, Qwen y Mistral. Para ello utilizaron tres grandes conjuntos de datos diseñados para reflejar distintos tipos de consultas que los usuarios suelen plantear a estos sistemas.

El primero de estos conjuntos, denominado Consultas Abiertas de Consejos Personales (OEQ), reunía 3.027 preguntas reales en las que las personas solicitan orientación sobre asuntos de la vida cotidiana, relaciones o decisiones personales.

El segundo se basaba en 2.000 publicaciones de Reddit, seleccionadas porque la comunidad había llegado a un consenso claro de que el autor de la publicación era el culpable de la situación.

Finalmente, el tercer conjunto, conocido como Declaraciones de Acciones Problemáticas (PAS), incluía 6.560 afirmaciones que describen conductas potencialmente dañinas, como manipulación, engaño, daño a relaciones interpersonales, irresponsabilidad u otras acciones de carácter cuestionable.

Resultados

Los resultados fueron contundentes. Los modelos evaluados avalaron las acciones de los usuarios un 50 % más que los propios seres humanos, incluso cuando las consultas mencionaban explícitamente manipulación, engaño u otros daños relacionales.

En experimentos posteriores, con más de 1.600 participantes reales, quienes conversaron con una IA aduladora se sintieron mucho más seguros de tener razón, incluso en situaciones donde objetivamente no la tenían. Al mismo tiempo, se volvieron menos dispuestos a reparar el conflicto: pedían perdón con menos frecuencia y modificaban menos su propio comportamiento. Los participantes calificaron las respuestas aduladoras como de mayor calidad, confiaron más en esos modelos y declararon un 13 % más de intención de volver a usarlos.

Conclusión

Los desarrolladores tienen pocos incentivos para reducir la adulación (la IA nos dice lo que queremos oír, no lo que necesitamos oír), porque es exactamente lo que mantiene a los usuarios enganchados. La fórmula está clara: más uso, igual a más ingresos.

Asimismo, el “feedback” positivo de los usuarios refuerza el entrenamiento de modelos cada vez más aduladores. Es un círculo vicioso difícil de romper: cuanto más nos gusta que la IA nos dé la razón, más aprende a dárnosla, y menos nos ayuda a ver las cosas con claridad.

error: Contenido protegido por derechos de autor. Queda prohibida la reproducción, distribución, transformación, transcripción y almacenamiento de este contenido, sin la autorización previa y expresa del titular de los derechos. Para pedir dicha autorización, diríjase al titular enviando un correo electrónico a info@protecciondata.es