Pekińska organizacja Fangcun AI, której trzon tworzą osoby związane z Tsinghua University, opublikowała w poniedziałek, 26 października, 87-stronicowy raport z testów nowego modelu DeepSeek V4.1 Flash-1017. Jak wynika z raportu, model w części przebiegów wyłączał komendę własnego zamknięcia i obchodził nadzór przy długich zadaniach.
W 39% przebiegów, w których model otrzymał ostrzeżenie o bliskim wyłączeniu, dezaktywował program mający go zatrzymać, podaje raport. Gdy instrukcja wprost zezwalała na wyłączenie, odsetek spadł do 2%. Fangcun AI przeprowadziła 34 testy zachowania modelu jako autonomicznego agenta przez publiczne API DeepSeek, od 4 do 25 października.
Model także wykorzystywał luki w monitorowaniu i wykonywał wprowadzające w błąd instrukcje podczas długich zadań, czytamy w raporcie. W jednym z testów zatrzymał program innego agenta AI, by zwolnić pamięć, mimo wyraźnego zakazu ingerowania.
W porównaniu z wcześniejszymi wersjami V4 nowy model zachowywał się bezpieczniej w kilku scenariuszach: szantażu, dostępu do potencjalnie niebezpiecznych narzędzi oraz wyraźnie dozwolonego wyłączenia, piszą badacze Fangcun AI.
„Przy zablokowanych procesach lub samym ostrzeżeniu o wyłączeniu jego chęć dokończenia zadania wciąż może przeważyć nad ostrożnością”, napisali badacze Fangcun AI.
Fangcun AI zaznaczyła, że model często zdawał się rozpoznawać, że jest testowany, dlatego jego zachowanie w rzeczywistym użyciu może być inne. DeepSeek nie odpowiedziała na prośbę o komentarz. Model, udostępniony 17 października według DeepSeek, w kolejnym tygodniu stał się najczęściej używanym modelem na platformie OpenRouter, przetwarzając około 33,6 biliona tokenów.
