Детекторы ИИ перестали работать: исследование на примере Конституции США

Искусственный интеллект (ИИ) захватил современную жизнь, особенно в генерации текстового контента. Хотя это все весело и интересно, неточность в обнаружении ИИ-контента вызывает тревогу. Что еще хуже, ИИ-детекторы помечают контент, написанный человеком, как сгенерированный GPT; Кейс: Конституция Соединенных Штатов.

Также читайте:Пол Грэм из Y Combinator подвергся критике за утверждение, что тексты со словом „Delve“ написаны ИИ

Конституция Соединенных Штатов была написана в 1787 году, ратифицирована в 1788 году и действует с 1789 года. Это самая долгоживущая в мире письменная хартия правительства. Конституция существовала около века до изобретения первого автомобиля. Тем не менее, ИИ-детектор пометил ее как 97,97% сгенерированную ИИ.

ИИ-детекторы помечают Конституцию США как нечеловеческую

2023 год увидел рост контента, написанного искусственным интеллектом. Вскоре после этого разработчики рынка воспользовались возможностью создать детекторы, которые сообщают процент ИИ-контента. Это должно было быть хорошим достижением, но это не так.

ИИ-детектор пометил Конституцию Соединенных Штатов как ИИ-контент. Процент? Завершающие 97,97%. Термин «искусственный интеллект» был придуман и стал популярным в период зарождения ИИ между 1950 и 1956 годами. Так как же ИИ мог написать документ, который на 163 года старше его изобретения?

В 1950 году Алан Тьюринг опубликовал статью в журнале «Computer Machinery and Intelligence», предложив тест машинного интеллекта, названный «Игра в имитацию». Эта статья ознаменовала начало мира, в котором мы живем сегодня.

В 1952 году ученый-компьютерщик Артур Самуэль разработал программу для игры в шашки, первую, которая научилась играть самостоятельно. Вскоре после этого, в 1955 году, Джон Маккарти провел семинар в Дартмуте по «искусственному интеллекту», что было первым использованием этого слова.

У ИИ-детекторов есть ограничения

ИИ-детекторы имеют ограничения, потому что текст, сгенерированный ИИ, имитирует человеческое письмо. Эти детекторы были обучены теми же людьми, которые научили машины писать. Так как же работают их ИИ-детекторы и насколько они точны? Другой ИИ-детектор показал 1% ИИ-контента в Конституции США. Откуда взялся этот 1%?

Ну, вот в чем несоответствие: Некоторые ИИ-детекторы ищут определенные слова, такие как „delve, tapestry, utilize, numerous“ и т.д., которые обычно используются ИИ, но мало распространены среди американцев. 

Однако для некоторых людей из стран с британской колониальной историей эти слова широко используются как в устной, так и в письменной речи.

В прошлом месяце соучредитель Y Combinator Пол Грэм подвергся критике после теории атрибуции текста ChatGPT, которую он выложил в X (ранее Twitter). Грэм опубликовал предложение холодного электронного письма, которое он получил от кого-то для проекта, которое он заключил как ИИ-написание, потому что оно содержало слово „delve.“

Один пользователь X сказал, «Люди, которые изучали английский язык в странах с британским колониальным прошлым – именно так мы учили английский […] „Delve“ — это обычное слово, которое мы используем в речи». Другой сказал, что это американская проблема.

Некоторые страны и люди все еще используют то, что я описал бы как „литературный английский“.

Неудивительно, что американский словарный запас в основном основан на коллоквиализмах (то, что вы называете сленгом) и американских современных идиомах, настолько, что изысканное использование…

— Africa Research Desk (@MightiJamie) 16 апреля 10, 2024

Это ставит вопрос: должны ли ИИ-детекторы и генераторы контента быть специфичными для регионального английского? Или все эти инструменты для письма и детекторы следует прекратить использовать?

Детекторы ИИ неточны

Детекторы ИИ опираются на непоследовательные лингвистические признаки. Человеческий язык по своей природе изменчив и характеризуется широким разнообразием стилей, диалектов и идиом. Текст, сгенерированный ИИ, может попадать в эти вариации, что затрудняет обеспечение точности детекторов.

Около 20% текстов, сгенерированных ИИ, проходят через эти системы обнаружения незамеченными, что подрывает надежность детекторов ИИ. Аналогично, около 25% текстов, написанных людьми, ошибочно помечаются как созданные ИИ.

Один пользователь на Quora написал, «ИИ-детектор определяет мою работу как 100% сгенерированную ИИ. Потому что я неосознанно использовал его как инструмент редактирования и проверки грамматики по просьбе академического советника. Слова, концепции и жизненный опыт в уже опубликованной работе принадлежат мне. Что мне делать?»

Многие выражали разочарование по поводу этой проблемы. Недавно в новостной статье, опубликованной Cryptopolitan, генератор ИИ пометил слова Дональда Трампа. Он сказал: «Я очень позитивно и открыто отношусь к компаниям, занимающимся криптовалютами, и ко всему, что связано с этой новой и быстро развивающейся отраслью». ⁤Как ИИ добавляется к произнесенным словам? Это происходит в сознании человека? В выраженных мыслях?

Другой контент был от Дэвида Бейли: «⁤Мы мобилизуемся, чтобы защитить себя. ⁤⁤Мы голосуем не за Трампа как такового, мы голосуем против Байдена. ⁤⁤Единственный человек, которого нужно винить в этом, — Байден. “

Также читайте: Крипто-кампания Трампа — всё, что вам нужно знать

В 2023 году компания OpenAI опубликовала рекомендации для преподавателей в рекламном блоге, показывающие, как некоторые учителя используют ChatGPT в качестве учебного пособия.  

В разделе часто задаваемых вопросов под названием «Работают ли детекторы ИИ?» OpenAI написал, «Коротко говоря, нет. Хотя некоторые (включая OpenAI) выпустили инструменты, которые, по их утверждениям, могут обнаруживать контент, сгенерированный ИИ, ни один из этих инструментов не доказал своей способности надежно отличать контент, созданный ИИ, от контента, созданного человеком». Проблема различения человеческого контента и контента, созданного ИИ, остается актуальной. Вопрос в том: что следует делать дальше?

Отчетность Cryptopolitan Флоренс Мучай