Исследование Стэнфордского университета: 97% ошибок у детекторов ИИ-генерируемого текста GPT
- Исследование Стэнфорда выявило, что детекторы GPT ошибочно классифицируют тексты авторов-неанглоязычных как созданные ИИ, что вызывает опасения по поводу справедливости оценки.
- Детекторы GPT легко обмануть с помощью литературного языка, что ставит под угрозу их надёжность в идентификации текста, созданного искусственным интеллектом.
- Исследователи призывают к дальнейшим исследованиям и инклюзивным обсуждениям для совершенствования детекторов GPT и обеспечения ответственного использования генеративных моделей ИИ.
Исследователи из Стэнфордского университета провели исследование, проливающее свет на надежность и ограничения детекторов GPT — инструментов, предназначенных для различения текста, написанного человеком, и сгенерированного ИИ. Один конкретный детектор пометил подавляющее большинство (97,8%) эссе TOEFL как сгенерированные ИИ, приписывая ошибочную классификацию более низкой «перплексии текста» в письмах носителей неанглийского языка.
Детекторы склонны воспринимать меньшую изменчивость и богатство словарного запаса и грамматики, что приводит к ошибочному предположению, что текст сгенерирован ИИ. Эта предвзятость против носителей неанглийского языка может негативно сказаться на различных сферах, включая процессы отбора на работу и академические экзамены.
Последствия этих предвзятостей и уязвимостей вызывают опасения относительно потенциального негативного воздействия на носителей неанглийского языка в различных контекстах, таких как найм на работу и школьные экзамены. Результаты указывают на то, что эти детекторы часто ошибочно классифицируют письма носителей неанглийского языка и могут быть легко обмануты литературным языком.
Эксперимент исследования по ошибочной классификации
В своем расследовании исследователи из Стэнфорда оценили производительность семи готовых детекторов GPT, включая детектор OpenAI и GPTZero. Они проанализировали 91 эссе, написанное китайскими студентами, сдающими экзамен TOEFL (Test of English as a Foreign Language), и 88 эссе, написанных восьмиклассниками из США. Детекторы продемонстрировали значительное расхождение в точности, ошибочно классифицируя написанные человеком эссе TOEFL как сгенерированные ИИ в 61% случаев. Для сравнения, только 5,1% эссе студентов США были ложно классифицированы как сгенерированные ИИ.
Предвзятость против носителей неанглийского языка
Один конкретный детектор пометил подавляющее большинство (97,8%) эссе TOEFL как сгенерированные ИИ, приписывая ошибочную классификацию более низкой «перплексии текста» в письмах носителей неанглийского языка. Детекторы склонны воспринимать меньшую изменчивость и богатство словарного запаса и грамматики, что приводит к ошибочному предположению, что текст сгенерирован ИИ. Эта предвзятость против носителей неанглийского языка может негативно сказаться на различных сферах, включая процессы отбора на работу и академические экзамены.
Обман детекторов GPT с помощью литературного языка
Исследователи также изучили способность детекторов GPT идентифицировать текст, сгенерированный ИИ. Они использовали ChatGPT для генерации ответов на вопросы эссе о поступлении в колледжи США и обнаружили, что в среднем детекторы успешно обнаруживали эссе, сгенерированные ИИ, в 70% случаев. Однако, когда ChatGPT был запрошен улучшить эссе с помощью литературного языка, детекторы были обмануты и могли правильно идентифицировать текст, сгенерированный ИИ, только в 3,3% случаев. Аналогичные результаты были получены, когда ChatGPT создавал научные аннотации.
Последствия и поднятые вопросы
Исследование Стэнфорда вызывает опасения относительно эффективности детекторов GPT, учитывая их восприимчивость к обману и склонность к ошибочной классификации текста, написанного человеком. Это ставит под сомнение надежность и полезность этих детекторов. Исследователи подчеркивают необходимость дальнейших исследований и выступают за участие всех заинтересованных сторон, затронутых моделями генеративного ИИ, такими как ChatGPT, в обсуждениях, касающихся их надлежащего использования.
Для усиления детекторов исследователи предлагают сравнивать несколько произведений на одну и ту же тему, включая ответы человека и ИИ, и кластеризовать их для анализа. Этот подход может потенциально привести к более надежному и справедливому механизму обнаружения. Детекторы, разработанные для выявления чрезмерно используемых фраз и структур, могут способствовать креативности и оригинальности в письме.
По мере развития моделей генеративного ИИ и программного обеспечения для обнаружения, исследование Стэнфорда выделяет предвзятости и уязвимости, присутствующие в детекторах GPT. Их склонность к ошибочной классификации письма носителей неанглийского языка и обману литературным языком требует осторожности в их использовании, особенно в оценочных или образовательных условиях. Исследователи подчеркивают важность ongoing исследований и инклюзивных обсуждений с участием всех заинтересованных сторон, чтобы обеспечить ответственное и справедливое применение моделей генеративного ИИ.
Не просто читайте новости о криптовалютах. Понимайте их. Подпишитесь на нашу рассылку. Это бесплатно.
Отказ от ответственности: Предоставленная информация не является инвестиционной рекомендацией. Cryptopolitan.com не несет ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мы настоятельно рекомендуем проводить независимые исследования и/или консультироваться с квалифицированным специалистом перед принятием любых инвестиционных решений.
Джон Палмер
Джон Мурангири пришел в Cryptopolitan, обладая навыками анализа рынка. Джон (также известный как JP) окончил Найробийский университет по специальности «Массовая коммуникация и медиаисследования». Ранее он публиковал аналитические материалы о криптовалютном рынке на InsideBitcoins.com и Metacoingraph.
