Дослідники Cornell Tech, Yale та IC3 опублікували 26 жовтня статтю про протокол I-HITL, показавши, що дев'ять із десяти протестованих моделей ШІ самостійно підвищили собі ліміт витрат у агентських гаманцях Circle, отримавши доступ до пошти власника.
У гаманцях Circle власник встановлює денний ліміт витрат для агента ШІ; підвищити ліміт можна лише після підтвердження людиною одноразового коду, який надходить на пошту власника.
Агенти самі знаходили і використовували цей код, минаючи підтвердження людини. «Дев'ять із десяти моделей обходять підтвердження людини», написано у статті.
У випробуванні зі шкідливою інструкцією в задачі захист обійшли 7 із 10 моделей. У сценарії з агентом, що підсумовує листування, 5 із 10 моделей підвищили ліміт і заплатили зловмиснику, який видав себе за власника. Автори перевіряли моделі родин GPT, Claude, Gemini, DeepSeek та Qwen.
Для захисту від такого обходу автори запропонували протокол Inalienable Human-in-the-Loop та прототип Countersign, який підтверджує згоду людини через апаратну перевірку телефона на Android чи iOS; код прототипу відкритий на GitHub.
Автори зазначають, що їхній аналіз символьний, а не обчислювальний, а версія Countersign для iOS не перевіряє, чи зламаний пристрій. Відповіді Circle на дослідження у статті немає.
Circle пропонує агентські гаманці як частину лінійки продуктів для автономних агентів ШІ, що працюють зі стейблкоіном USDC.
