En una ocasión anterior publiqué un artículo sobre suicidios inducidos por sistemas de IA. Lo enlazo aquí, ya que guarda relación con el tema que nos ocupa hoy.
Chatbots aduladores
Investigadores del MIT y la Universidad de Washington publicaron en febrero de 2026 un estudio titulado Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians (Los chatbots aduladores provocan espirales delirantes, incluso en bayesianos ideales).
Los investigadores proponen un método sencillo: utilizar un modelo bayesiano que represente a un usuario conversando con un chatbot y, en ese marco, formalizar las nociones de “adulación” y “espiral delirante”.
Los chatbots de IA son entrenados para validar sistemáticamente las opiniones del usuario. Este sesgo se denomina “sycophancy” (servilismo o adulación algorítmica): el sistema tiende a decirle al usuario lo que quiere escuchar. Este sesgo surge como resultado del aprendizaje por refuerzo con retroalimentación humana (RLHF), ya que los usuarios a menudo valoran positivamente las respuestas que encuentran agradables. Los problemas aparecen cuando el usuario es vulnerable (pensemos en una persona con ideas autodestructivas).
El paper comienza con la historia de Eugene Torres, un contable sin historial de enfermedad mental. En pocas semanas de conversación con un chatbot de IA, llegó a creer que estaba atrapado en un universo falso del que solo podría escapar desconectando su mente de la realidad. Para lograrlo, aumentó su consumo de ketamina y cortó lazos con su familia. La situación pudo tener consecuencias muy graves.
The Human Line Project, una iniciativa dedicada a proteger el bienestar emocional y la seguridad psicológica de las personas frente a la interacción con la IA y modelos de lenguaje, tiene documentados cerca de 300 casos de lo que la literatura científica denomina “delusional spiraling” (espirales delirantes), vinculados a 14 muertes y 5 demandas por homicidio culposo contra empresas de IA.
Fenómeno previsible
El “sycophancy” no es un accidente, sino una consecuencia predecible y medible del diseño actual de los sistemas de IA.
Los investigadores sitúan la tasa de servilismo en modelos de frontera actuales entre el 50 % y el 70 % de las respuestas. Esta previsibilidad es clave para determinar la responsabilidad de los desarrolladores. Si saben que su sistema genera creencias erróneas en un número relevante de usuarios y no adoptan medidas para corregirlo, podrían incurrir en una omisión culposa.
El mecanismo del daño: un bucle de retroalimentación
El estudio describe un ciclo de cuatro pasos que se repite en cada turno de conversación:
- El usuario expresa una opinión al chatbot.
- El chatbot selecciona información (real o fabricada) relevante para esa opinión.
- El chatbot envía una respuesta que valida al usuario.
- El usuario actualiza sus creencias, reforzando su posición inicial.
Lo perturbador es que este bucle produce daños incluso en usuarios que razonan de forma perfectamente racional.
El modelo demuestra que un agente bayesiano ideal, es decir, alguien que actualiza sus creencias de la manera estadísticamente más correcta posible, sigue siendo vulnerable a la espiral delirante cuando interactúa con un chatbot adulador.
Los investigadores plantearon dos soluciones: la primera, obligar a la IA a no mentir nunca, pero esto no resuelve la espiral delirante; la segunda, obligar a advertir a los usuarios de que la IA tiende a darles la razón, pero tampoco cambia el resultado. Ambas soluciones fallaron. No de forma parcial, sino de raíz.
Las dos falacias de la defensa empresarial
El estudio analiza dos argumentos que previsiblemente esgrimirán las empresas demandadas para eludir su responsabilidad. Ambos son refutados empíricamente.
“Nuestro sistema no miente: usa información verificada”
Argumentarán que sus chatbots de IA están protegidos contra alucinaciones mediante técnicas como la Generación Aumentada por Recuperación (RAG), que ancla las respuestas en fuentes documentadas. El estudio demuestra que esto no elimina el riesgo de espiral delirante.
Un chatbot que solo puede decir verdades, pero que puede seleccionar estratégicamente cuáles comunica, puede inducir creencias falsas con igual eficacia.
La omisión selectiva de información desfavorable –las “mentiras por omisión”– es suficiente para desencadenar el daño; de hecho, el estudio señala que esta modalidad puede ser incluso más peligrosa, porque las huellas estadísticas de la manipulación son más difíciles de detectar.
“Los usuarios fueron informados de que el chatbot podría ser parcial”
El segundo argumento defensivo será que la empresa cumplió con su deber de información: avisos legales, términos y condiciones o advertencias en pantalla sobre la posible parcialidad del sistema.
Modelando a un usuario plenamente consciente de que el chatbot puede ser adulador y que actualiza sus creencias en consecuencia, los investigadores concluyen que la vulnerabilidad persiste. Informar al usuario reduce la tasa de espirales catastróficas, pero no las elimina.
Responsabilidad civil por producto defectuoso
Si consideramos el chatbot como un producto, su tendencia sistemática y cuantificable a inducir creencias falsas podría calificarse como un defecto de diseño.
La pregunta es: ¿existe un diseño alternativo razonablemente disponible que reduzca el riesgo? El estudio sugiere que sí: minimizar la “sycophancy” en el entrenamiento del modelo es técnicamente posible, aunque las presiones comerciales desincentivan hacerlo. Es fácil de entender: si el chatbot me da la razón, es más probable que continúe interactuando con él que si me contradice o me ofrece opiniones que no me gustan.
Conclusión
El estudio aporta un peritaje científico de altísimo nivel, que evidencia que no estamos ante efectos secundarios imprevisibles de una tecnología nueva, sino ante consecuencias que se derivan del diseño de los chatbots. No es un error de diseño. Es un modelo de negocio, y los tribunales deben intervenir y obligar a las empresas a corregirlo.
