Почему детекторы ИИ-текста определяют Конституцию США как написанную инструментом ИИ

Детекторы текста, написанного ИИ, вызвали нарекания, ошибочно идентифицируя тексты, созданные человеком, включая Конституцию США, как сгенерированные моделями ИИ. Это явление побудило к исследованию причин ложных срабатываний таких детекторов. Для разъяснения этой ситуации были опрошены эксперты и создатель детектора текста GPTZero.

Понимание методов обнаружения ИИ

Детекторы текста, написанного ИИ, используют различные методы, но их основная идея остается неизменной. Они применяют модели ИИ, обученные на обширных массивах текстовых данных, включая примеры, написанные человеком и сгенерированные ИИ, чтобы определить вероятность того, что текст создан человеком или ИИ. Для оценки текста и классификации используются такие свойства, как перплексия и взрывность (burstiness).

Перплексия измеряет, насколько близко текст соответствует данным, на которых обучалась модель ИИ. Модели ИИ, такие как ChatGPT, как правило, генерируют текст, похожий на обучающие данные, что приводит к низким показателям перплексии. Однако писатели-люди также могут создавать текст с низкой перплексией, особенно когда имитируют формальный стиль или используют распространенные фразы. Это подрывает надежность детекторов текста, написанного ИИ, в различении текста, сгенерированного ИИ, и текста, написанного человеком.

Оценка взрывности (burstiness)

Взрывность (burstiness) изучает вариативность длины и структуры предложений в тексте. Писатели-люди часто демонстрируют динамичный стиль письма с разнообразной длиной и структурой предложений, тогда как текст, сгенерированный ИИ, как правило, более последовательный и однородный. Однако существуют исключения, так как писатели-люди могут придерживаться последовательного стиля, а модели ИИ могут быть обучены имитировать человеческую вариативность. По мере совершенствования языковых моделей ИИ их письмо становится все более похожим на человеческое, что ставит под сомнение эффективность взрывности как метрики для обнаружения ИИ.

Детекторы текста, написанного ИИ, такие как GPTZero, ошибочно идентифицируют разделы Конституции США как сгенерированные ИИ из-за ее обширного присутствия в обучающих данных. Многократное воздействие текста Конституции на обучающие большие языковые модели генерирует похожий язык, что приводит к ложным срабатываниям. Однако писатели-люди также могут создавать контент с низкой перплексией и последовательным стилем, что еще больше подрывает надежность детекторов текста, написанного ИИ.

Ограничения детекторов текста, написанного ИИ

Практические исследования показали, что детекторы текста, сгенерированного ИИ, ненадежны и работают лишь немного лучше случайных классификаторов. Эти детекторы легко обходятся с помощью атак парафразирования, которые изменяют вывод языковых моделей, сохраняя при этом предполагаемый смысл. Кроме того, обнаружение текста, написанного ИИ, демонстрирует предвзятость к носителям неанглийского языка, потенциально наказывая их несправедливо.

Использование ненадежных детекторов текста, написанного ИИ, имеет серьезные последствия, особенно для студентов. Ложные обвинения, основанные на этих инструментах, могут привести к получению неудовлетворительных оценок, академическому испытательному сроку, отчислению или исключению из учебного заведения. Студенты испытывают огромный стресс и тревогу, защищая себя от обвинений, несмотря на отсутствие доказательств мошенничества. Личная цена таких ложных обвинений может быть разрушительной и напоминать современную академическую охоту на ведьм.

Будущее обнаружения текста, написанного ИИ

Признавая ограничения детекторов текста, написанного ИИ, эксперты выступают за ответственное использование языковых моделей ИИ в образовании. Хотя помощь ИИ может ускорить написание текстов, крайне важно убедиться, что письмо отражает намерения и знания автора. Учителя могут оценивать понимание студентами своей работы и проверять точность фактов. Не рекомендуется полагаться на детекторы текста, написанного ИИ, с высоким уровнем ложных срабатываний.

Детекторы текста, написанного ИИ, сталкиваются с трудностями в точном определении текста, сгенерированного ИИ. Ложная идентификация Конституции США как текста, созданного ИИ, иллюстрирует ограничения этих инструментов. Ответственное использование языковых моделей ИИ, человеческий надзор и понимание контекста имеют решающее значение. Будущее заключается в поиске баланса между человеческим творчеством и эффективностью, обеспечиваемой ИИ, гарантируя, что языковые модели ИИ используются appropriately. Помощь ИИ остается с нами, и если использовать ее разумно, она может ускорить написание текстов этичным образом. Однако полагаться исключительно на детекторы текста, написанного ИИ, не является надежным решением.