Детекторы ИИ перестали работать: пример из практики изучения Конституции США

Искусственный интеллект (ИИ) прочно вошел в современную жизнь, особенно в сфере создания письменного контента. Хотя это и кажется забавным, неточность в распознавании контента, созданного ИИ, вызывает тревогу. Хуже того, детекторы ИИ помечают написанный человеком контент как созданный с помощью GPT; в качестве примера можно привести Конституцию Соединенных Штатов.

Читайте также:Пола Грэма из Y Combinator раскритиковали за утверждение, что сообщения с пометкой «Delve» написаны искусственным интеллектом.

Конституция Соединенных Штатов была написана в 1787 году, ратифицирована в 1788 году и действует с 1789 года. Это самый долгоживущий в мире письменный устав правительства. Конституция была принята примерно за столетие до изобретения первого автомобиля. Тем не менее, детектор искусственного интеллекта показал, что она на 97,97% создана искусственным интеллектом.

Системы обнаружения ИИ признают Конституцию США бесчеловечной

В 2023 году наблюдался рост количества контента, созданного с помощью искусственного интеллекта. Вскоре после этого разработчики рынка воспользовались возможностью создать детекторы, которые определяют процентное содержание контента, созданного ИИ. Это должно было стать хорошим шагом вперед, но этого не произошло.

Система обнаружения ИИ определила Конституцию Соединенных Штатов как контент, созданный ИИ. Процентное соотношение? 97,97%. Термин «искусственный интеллект» был придуман и стал популярным на заре развития ИИ в период с 1950 по 1956 год. Так как же ИИ мог написать документ, созданный на 163 года раньше его изобретения?

В 1950 году Алан Тьюринг опубликовал статью в научном журнале под названием «Вычислительные машины и интеллект», в которой предложил тест на машинный интеллект, названный «Игра в имитацию». Эта статья положила начало миру, в котором мы живем сегодня.

В 1952 году учёный-компьютерщик Артур Сэмюэл разработал программу для игры в шашки, став первым, ктоdentосвоил эту игру. Вскоре после этого, в 1955 году, Джон Маккарти провёл в Дартмуте семинар по «искусственному интеллекту», и это было первое употребление этого слова.

У детекторов на основе ИИ есть ограничения

У детекторов, использующих ИИ, есть ограничения, поскольку сгенерированный ИИ текст имитирует человеческий почерк. Эти детекторы были обучены теми же людьми, которые обучали машины письму. Так как же будут работать их детекторы ИИ и насколько они точны? Другой детектор ИИ оценил содержание Конституции США в 1% как принадлежащее ИИ. Откуда взялся этот 1%?

Вот в чем разница: некоторые детекторы ИИ отслеживают определенные слова, такие как «delve, tapestry, utilize, numerous и т. д.», которые обычно используются ИИ, но редко употребляются американцами. 

Однако для некоторых людей из стран с британской колониальной историей эти слова широко используются как в устной, так и в письменной речи.

В прошлом месяце соучредитель Y Combinator Пол Грэм подвергся критике после выдвинутой им теории атрибуции текста ChatGPT на платформе X (ранее Twitter). Грэм опубликовал электронное письмо с предложением о сотрудничестве, которое он получил от человека, и пришел к выводу, что оно было написано искусственным интеллектом, поскольку содержало слово «delve» (погружаться).

Один пользователь X написал: «Люди, которые учили английский в странах с британским колониальным прошлым, — именно так мы и учили английский […] «Delve» — это обычное слово, которое мы используем». Другой сказал, что это американская проблема.

В некоторых странах и среди некоторых народов до сих пор используется то, что я бы назвал «литературным английским».

К сожалению, американская лексика в основном основана на разговорных выражениях (то, что вы называете сленгом) и современных американских идиомах, до такой степени, что изощренное использование…

— Africa Research Desk (@MightiJamie) 10 апреля 2024 г

В связи с этим возникает вопрос: должны ли детекторы и генераторы контента на основе ИИ быть ориентированы на региональные особенности английского языка? Или же от всех этих инструментов и детекторов следует отказаться?

Детекторы на основе ИИ неточны

Детекторы искусственного интеллекта полагаются на непоследовательные лингвистические особенности. Человеческий язык по своей природе изменчив, с широким спектром стилей, диалектов и идиом. Текст, сгенерированный ИИ, может попадать в эти рамки, что затрудняет точность работы детекторов.

Примерно 20% текстов, сгенерированных ИИ, проходят через эти системы обнаружения незамеченными, что подрывает надежность детекторов ИИ. Аналогичным образом, около 25% текста, написанного человеком, ошибочно помечается как созданный ИИ.

Один пользователь Quora написал: «Детектор ИИ определяет мою работу как на 100% сгенерированную ИИ. Потому что я по незнанию использовал его как инструмент редактирования и проверки грамматики по просьбе научного руководителя. Слова, концепция и жизненный опыт в уже опубликованной работе принадлежат мне. Что мне делать?»

Многие выражают недовольство по этому поводу. Недавно в новостной статье на сайте Cryptopolitanгенератор искусственного интеллекта выделил слова, произнесенные Дональдом Трампом. Он сказал: «Я очень позитивно и открыто отношусь к криптовалютным компаниям и всему, что связано с этой новой и быстро развивающейся индустрией». ⁤Как искусственный интеллект добавляется к произнесенным словам? В сознании человека? В выраженных мыслях?

Другой материал был предоставлен Дэвидом Бейли: «Мы мобилизуемся, чтобы защитить себя. Мы голосуем не за Трампа как такового, а против Байдена. Единственный, кто в этом виноват, — это Байден».

Читайте также: Криптовалютная кампания Трампа – все, что вам нужно знать

В 2023 году компания OpenAI опубликовала в рекламном блоге советы для преподавателей, демонстрирующие, как некоторые учителя используют ChatGPT в качестве вспомогательного учебного средства.  

В разделе часто задаваемых вопросов под названием «Работают ли детекторы ИИ?» компания OpenAI написала: «Вкратце, нет. Хотя некоторые (включая OpenAI) выпустили инструменты, которые, как утверждается, обнаруживают контент, созданный ИИ, ни один из них не доказал свою способность надежно различать контент, созданный ИИ, и контент, созданный человеком». Проблема различения контента, созданного человеком, от контента, созданного ИИ, остается. Вопрос в том: что следует предпринять в дальнейшем?

Репортаж Флоренс Мучаи для журнала Cryptopolitan