Остались ли детекторы ИИ эффективными?

С момента запуска таких инструментов ИИ, как ChatGPT, термин «ИИ» стал модным словом в отраслях, от образования до создания контента. Писатели и студенты теперь сталкиваются с новой задачей — защитой своей работы, независимо от того, создана ли она ИИ или человеком. 

Согласно статистике Stastia в прошлом году термин «ИИ» искали более 30,4 миллиона раз в июле 2023 года, что в три раза больше, чем в предыдущем месяце. По мере того как ИИ стал более распространенным, учителя и редакторы были вынуждены найти альтернативные способы определения того, был ли представленный им текст создан ИИ или нет. Это привело к появлению детекторов ИИ.

Однако многие писатели и педагоги поставили под сомнение достоверность ИИ. Один из них — Кристофер Пен, соучредитель TrustInsights.ai, который заявил в LinkedIn, что посту что «AI «детекторы» — это шутка. Пен не единственный, кто считает, что детекторы ИИ ненадежны. Дианна Мейсон, специалист по SEO-контенту, заявила в своем посте написала: «детекторы ИИ-контента не работают».

Согласно другому посту на Reddit, один пользователь заявил: “Да, детекторы ИИ — это мошенничество. Никогда не было академической статьи, доказывающей, что детектор ИИ может работать надежно. Также нет перспективной теоретической основы для того, как мог бы работать надежный детектор ИИ. “

Несколько широко освещенных примеров демонстрируют неэффективность детекторов ИИ. Например, один детектор ошибочно определил 97,75% Декларации независимости США как текст, созданный ИИ. 

В другом случае тексты из Библии были признаны написанными ИИ. Бхагавад-гита, индуистский священный текст, также была ошибочно идентифицирована ИИ. Такие инциденты вызывают серьезные вопросы о достоверности детекторов ИИ.

Чтобы глубже изучить эффективность детекторов ИИ, мы протестировали отрывок из Библии с помощью четырех различных детекторов. Результаты оказались довольно разными

• Quilbott — Согласно этому сайту, вероятность того, что использованный отрывок был сгенерирован ИИ, составляет 0%.
• Grammaly — Grammaly также определил текст как на 100% написанный человеком.
• Gpt Zero — Этот сайт присвоил тексту вероятность 96% того, что он был написан людьми.
• Zero Gpt — Это был последний сайт, который я протестировал, и результаты оказались довольно поразительными: согласно сайту, текст был на 96% написан ИИ.

Как работают детекторы ИИ

Детекторы ИИ, или детекторы GPT, — это системы, предназначенные для выявления контента, сгенерированного ИИ. Эти детекторы сравнивают текст по паттернам и расположению слов, так же как это делают большие языковые модели (LLM). LLM работают с вероятностями, выводимыми из данных, и основывают свои прогнозы исключительно на обнаружении последовательностей слов. Детекторы ИИ используют эти вероятности для выявления контента, созданного ИИ. 

Детекторы ИИ в основном используют две меры: перплексивность (perplexity) и взрывность (burstiness). Перплексивность измеряет вероятность того, что следующее слово будет угадано правильно, а взрывность — это изменчивость количества слов и фраз. Хотя человеческое письмо tends to exhibit more variety, текст, сгенерированный ИИ, часто более однороден. Несмотря на это, по мере развития таких моделей ИИ, как GPT-4, они могут воспроизводить человеческое письмо с более высокой точностью, что делает обнаружение еще более сложным. 

Согласно Джоди Кук, основателю Coachvox, “Сейчас мы смеемся над комментариями в LinkedIn, сгенерированными ИИ…. Но по мере улучшения технологии мы не будем иметь понятия, что реально, а что нет. Никто не будет. “

Для писателей, студентов и бизнеса ставки высоки. Это порождает вопрос: можно ли доверять детекторам ИИ?