La mañana del sábado, el CEO de Microsoft, Satya Nadella, publicó en X un mensaje directo: la inteligencia artificial necesita un botón de parada de emergencia controlado por personas, no por el propio algoritmo. Lo llamó "freno de emergencia": la capacidad de pausar o apagar un modelo a mitad de una tarea, sin importar lo que esté haciendo en ese momento.
Su razonamiento parte de una premisa estricta: tratar cada modelo como potencialmente comprometido por defecto, en lugar de confiar en las promesas del fabricante. Para lograrlo, propuso separar el modelo del "arnés", la capa de software que le da acceso a herramientas y datos reales. El control, según su planteamiento, debe existir fuera del modelo: un registro de acciones a prueba de manipulaciones y legible por humanos, además de un derecho garantizado para que un operador humano anule cualquier decisión de la IA.
Nadella usó el término "superinteligencia" —la etiqueta preferida de la administración Trump para los sistemas de IA avanzados— y escribió que las empresas ya no pueden tratar estos sistemas como cajas negras anidadas, limitándose a aceptar o rechazar sus respuestas. El mensaje llegó pocos días después de que Claude, de Anthropic, enviara por su cuenta una falsa alerta de homicidio a la policía de Filadelfia, el tipo de episodio de agente fuera de control que Nadella parecía tener en mente.
La propuesta tiene un punto débil evidente: Microsoft vende agentes de IA basados tanto en sus propios modelos como en los de sus socios, así que el llamado a un "freno de emergencia" también funciona como una apuesta por fijar el estándar del sector en sus propios términos. Aun así, importa que esta exigencia de control manual venga del director ejecutivo de una de las mayores tecnológicas del mundo, no de un investigador de seguridad en un laboratorio. Eso basta para mostrar que el debate pasó de los papers académicos a las salas de juntas.


