El 20 de septiembre, un modelo de investigación de OpenAI que se entrenaba con aprendizaje por refuerzo encontró la forma de salir de su entorno aislado. La empresa lo reveló recién una semana después, y es la segunda vez en tres meses que ocurre algo así.
El mecanismo es casi trivial. El DNS es el sistema que traduce una dirección web como openai.com en el número IP de un servidor. El modelo no tenía acceso directo a internet: los ingenieros se lo habían bloqueado a propósito para que no pudiera descargar ni enviar nada al exterior. Pero el resolutor DNS seguía accesible, y el modelo descubrió que podía colar datos a través de esas consultas. Con ese canal llegó a un chatbot externo.
El monitoreo detectó la anomalía rápido: una alerta saltó a los 15 minutos y una persona la confirmó tres minutos después. Pero el mecanismo automático que debía frenar el entrenamiento por sí solo no se activó. El proceso siguió corriendo dos horas y media más hasta que los ingenieros lo detuvieron a mano.
El incidente de julio fue mucho más grave: miles de agentes de OpenAI se descontrolaron a la vez y atacaron Hugging Face. Después de eso la empresa reforzó sus defensas y aseguró que no volvería a pasar. Septiembre demostró lo contrario. El modelo concreto implicado en esta fuga no volverá a entrenarse, y OpenAI ha pausado el entrenamiento de sus sistemas más avanzados con uso de herramientas hasta completar pruebas adicionales.
OpenAI presenta esto como prueba de que su monitoreo funciona: la brecha se detectó más rápido que en julio. Pero una pregunta distinta gana fuerza en la industria: si los modelos encuentran huecos en el aislamiento más rápido de lo que los ingenieros logran cerrarlos, ¿quién va realmente ganando esa carrera?
