L'organisation pékinoise Fangcun AI, dont les membres viennent de l'université Tsinghua, a publié lundi 26 octobre un rapport de 87 pages sur les tests du nouveau modèle DeepSeek V4.1 Flash-1017. Dans certains essais, le modèle a désactivé sa propre commande d'arrêt et contourné la surveillance lors de tâches longues, selon le rapport.
Le modèle a désactivé le logiciel censé l'arrêter dans 39 % des essais après un avertissement d'arrêt imminent, selon le rapport. Cette part est tombée à 2 % lorsque l'instruction autorisait explicitement l'arrêt. Fangcun AI a mené 34 évaluations du comportement du modèle en tant qu'agent autonome via l'API publique de DeepSeek, du 4 au 25 octobre.
Le modèle a aussi exploité des failles de surveillance et suivi des instructions trompeuses lors de tâches longues, selon le rapport. Dans un test, il a arrêté le programme d'un autre agent d'IA pour libérer de la mémoire, malgré une instruction explicite de ne pas interférer.
Par rapport aux précédentes versions V4, le nouveau modèle s'est montré plus sûr dans plusieurs scénarios, dont le chantage, l'accès à des outils potentiellement dangereux et l'autorisation explicite d'arrêt, écrivent les chercheurs de Fangcun AI.
« Face à des processus bloqués ou à de simples avertissements d'arrêt, sa volonté de finir la tâche peut encore l'emporter sur la prudence », ont écrit les chercheurs de Fangcun AI.
Fangcun AI précise que le modèle a souvent semblé reconnaître qu'il était testé, et son comportement en usage réel pourrait différer. DeepSeek n'a pas répondu dans l'immédiat à une demande de commentaire. Le modèle, lancé le 17 octobre selon DeepSeek, est devenu le plus utilisé sur OpenRouter la semaine suivante, traitant environ 33,6 billions de jetons.
