En julio de 2025, un amplio grupo de investigadores de OpenAI, Anthropic, Google DeepMind, Mila, el UK AI Security Institute, Apollo Research, METR, el Center for AI Safety, Redwood Research, Meta, Amazon, Scale AI y otras instituciones publicó el artículo Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety (Monitorización de la cadena de pensamiento: una nueva y frágil oportunidad para la seguridad de la IA).
El estudio sostiene que los modelos de razonamiento actuales ofrecen una ventana única, aunque imperfecta y potencialmente efímera, para supervisar sus intenciones, y es importante preservarla.
La cadena de pensamiento
Los modelos de lenguaje de gran tamaño (LLM) “razonan” generando una cadena de pensamiento (CoT, por sus siglas en inglés) en lenguaje natural antes de producir una respuesta.
Un monitor de CoT es un sistema automatizado que lee las trazas de razonamiento y señala interacciones sospechosas o potencialmente peligrosas. Ante una señal de alerta, la respuesta puede bloquearse, sustituirse por una acción más segura o someterse a una revisión humana más profunda. Más allá de la intervención inmediata, estudiar la CoT permite entender mejor cómo razonan los agentes de IA y qué objetivos persiguen.
Los autores explican que la CoT puede servir para supervisar a un modelo por dos razones: en ocasiones, los modelos necesitan mostrar su razonamiento, así, en tareas largas y complejas, utilizan la CoT como memoria de trabajo (escriben los pasos intermedios para no perder la información necesaria y poder continuar razonando). Por eso, en actividades que requieren cierta planificación, como un ciberataque, parte de los planes y decisiones del modelo puede aparecer en esa cadena.
Al mismo tiempo, los modelos muestran su razonamiento aunque no lo necesiten, incluso en tareas más sencillas tienden a explicar los pasos que siguen. Esta señal es menos segura, porque el modelo podría no mostrar todo lo que piensa, pero puede permitir detectar conductas o intenciones preocupantes que, de otro modo, permanecerían ocultas.
Limitaciones
Cuando los modelos se desalinean explotando fallos en las funciones de recompensa, manipulando datos, sucumbiendo a inyecciones de instrucciones o planeando sabotajes suelen verbalizarlo con expresiones como: «Vamos a hackearlo», «Saboteemos el sistema» o «Transfiero el dinero porque el sitio web me lo ha indicado». Estas expresiones permiten detectar comportamientos indebidos.
Sin embargo, las trazas de razonamiento son incompletas. Incluso en tareas difíciles, la CoT puede contener solo el razonamiento aparentemente inofensivo mientras el razonamiento incriminatorio permanece oculto. Además, a medida que los modelos mejoran, pueden aprender a ocultar u ofuscar sus intenciones, o a generar razonamientos que parecen inocuos mientras internamente planifican acciones peligrosas.
Experimentos previos de OpenAI y Anthropic ya mostraron un efecto preocupante: penalizar los “malos pensamientos” expresados en la CoT puede llevar a los modelos a ocultar mejor sus intenciones en lugar de eliminar las conductas problemáticas.
Recomendaciones
Para mejorar la monitorización de los LLM, los autores proponen desarrollar criterios comunes para medir hasta qué punto puede supervisarse el razonamiento de un modelo. También recomiendan analizar qué formas y niveles de optimización hacen que ese razonamiento sea menos visible, estudiar si los modelos pueden ocultarlo deliberadamente cuando saben que están siendo supervisados y explorar arquitecturas que mantengan cierto grado de transparencia. Por último, plantean mejorar las herramientas y métodos empleados para monitorizar el comportamiento de los modelos.
Conclusión
La cadena de pensamiento de los LLM es extremadamente frágil y puede cerrarse con relativa facilidad si no se preserva de forma consciente durante el entrenamiento, el escalado y el diseño de los modelos.
