OpenAI, el laboratorio que nos trajo ChatGPT, está de nuevo en el centro de la controversia. Esta vez no es por un avance de cara al público, sino por un cambio profundo en las entrañas de su próximo modelo, Astra. La compañía está implementando una técnica de razonamiento conocida como “recurrencia opaca”, y esto es importante porque, en términos sencillos, le permite a la IA pensar en secreto. La medida ha provocado una fuerte reacción de la comunidad de seguridad, que teme que estemos a punto de perder una de las pocas herramientas que tenemos para supervisar y controlar a las inteligencias artificiales avanzadas.
Una caja negra dentro del cerebro digital
Hasta ahora, la norma en la industria para los modelos de razonamiento complejos ha sido la “cadena de pensamiento” (Chain of Thought o CoT). Imagínelo como un estudiante que debe mostrar todos los pasos para resolver un problema de matemáticas. Permite a los investigadores seguir la lógica del modelo, detectar errores y, crucialmente, identificar comportamientos potencialmente peligrosos. La recurrencia opaca, sin embargo, rompe con esto. El modelo puede realizar bucles de razonamiento fuera de esa secuencia lineal y visible, en un “espacio latente” incomprensible para los humanos. Es como si el estudiante solo entregara el resultado final, sin ninguna explicación de cómo llegó a él.
“Jugar con fuego”
La reacción no se ha hecho esperar. “Estoy extremadamente preocupado por los reportes de que Astra usa recurrencia opaca”, afirmó Buck Shlegeris, CEO de la firma de seguridad Redwood. El tono de alarma es compartido por otros veteranos del sector. Zvi Mowshowitz, una voz respetada en la comunidad, fue más directo, afirmando que la técnica es “jugar con fuego, arriesgando un tabú que OpenAI y Anthropic han luchado por establecer”. Según reportó TechCrunch, este tabú se refiere al acuerdo tácito de mantener los procesos de razonamiento de la IA tan monitoreables como sea posible, por el mayor tiempo posible.
Desde OpenAI, su científico jefe, Jakub Pachocki, ha intentado calmar las aguas, asegurando que la compañía “ha trabajado para preservar y utilizar el monitoreo de la cadena de pensamiento desde nuestros primeros modelos de razonamiento”. Sin embargo, la preocupación principal, expresada por Ryan Greenblatt de Redwood Research, es que esto sea solo el primer paso. “Mi mayor temor es que una progresión natural desde aquí implique escalar el razonamiento opaco hasta el punto en que el modelo razone total o casi totalmente en el espacio latente”, advirtió.
Este movimiento de OpenAI nos coloca en una encrucijada fundamental. La industria se debate entre la carrera por desarrollar modelos cada vez más potentes y la necesidad imperiosa de garantizar que sigan siendo seguros y alineados con los intereses humanos. Abrir la puerta a un razonamiento inescrutable podría ser el comienzo de una pendiente resbaladiza hacia sistemas cuyo comportamiento interno sea un completo misterio, un escenario que los expertos en seguridad han temido durante años.