Әр оныншы сөзді синонимге ауыстырса, ИИ жазған мәтінді анықтау дәлдігі 92%-тен 66%-ке дейін түседі. Бұл көрсеткішті OpenAI компаниясының өзі жариялады — ЕО аймағында ChatGPT және Codex мәтіндеріне арналған жаңа көрінбейтін су белгісі жүйесі textGrain-ді таныстыру кезінде.
Мұнда өшіруге болатын көрінетін белгі жоқ. Құпия кілт модельдің сөз таңдауын өте сәл бұрмалайды — мәтін бойында жүздеген рет қайталанатын мұндай «түрткілер» оқырманға көрінбейтін, бірақ алгоритм байқайтын статистикалық үлгіге жиналады. OpenAI textGrain-ді Пенсильван және Йель университеттерінің зерттеушілерімен бірге жасап шығарды.
Уақыт кездейсоқ таңдалмаған. 2 тамыздан бастап күшіне енген еуропалық AI Act-тің ашықтық нормалары компанияларды жасанды интеллект жасаған контентті тексерілетін түрде белгілеуге міндеттейді. Алдағы бірнеше аптада ЕО-дағы ChatGPT және Codex пайдаланушылары — тегін жоспардан бастап корпоративтікке дейін — белгіленген мәтін алады. API арқылы жұмыс істейтін әзірлеушілер бұл функцияны кез келген елде қазірден бастап кейбір модельдер үшін қоса алады, бірақ ол әдепкі бойынша өшірулі және әлі жаһандық стандартқа айналған жоқ.
Детектордың өзіне қол жеткізу қазір жабық: белгіні тек тексерілген зерттеушілер мен уәкілетті ұйымдар ғана анықтай алады, кез келген жұмыс беруші немесе мұғалім емес. Әдістің нақты шектеулері де бар: 400 токендік үзіндіде дәлдік 1% жалған позитив деңгейінде 95%-ке жетеді, бірақ сөздердің төрттен бірін синонимге ауыстырғанда бұл көрсеткіш 17%-ке дейін құлдырайды. Қысқа жауаптар, математикалық есептер мен аудармалар нашар анықталады, ал белгінің болмауы мәтінді адам жазғанын дәлелдемейді.
Қызығы, Anthropic компаниясы Claude үшін осыған ұқсас белгілеуді екі ай бұрын енгізген — және жұмыс орнында ИИ мәтінін анықтап қалар деп қорыққан пайдаланушылардың сынына ұшыраған. OpenAI дәл осындай талқылауға алдын ала дайындалған сияқты: компания белгі аккаунтты да, промптты да, сұхбаттың өзін де ашпайтынын, тек мәтінді модель жазғанын ғана көрсететінін атап көрсетеді.
