Университеты избегают инструмента обнаружения текстов Turnitin на основе ИИ из-за опасений по поводу точности и конфиденциальности

Несколько крупных американских университетов все еще не приняли программное обеспечение Turnitin на базе ИИ, предназначенное для выявления текстов, сгенерированных ИИ в студенческих эссе и заданиях. Эти учреждения выражают сомнения относительно точности инструмента и его последствий для конфиденциальности, что привело к их решению воздержаться от его внедрения.

Основная проблема, озвученная этими университетами, касается надежности инструмента анализа текстов Turnitin на основе ИИ. Хотя Turnitin утверждает, что уровень ложноположительных результатов составляет менее одного процента, Университет Вандербильта считает этот процент проблематичным. Учитывая значительный объем работ, обрабатываемых ежегодно – 75 000 в 2022 году, – они ожидают, что уровень ложноположительных результатов в один процент будет ошибочно маркировать 750 работ ежегодно.

Другая поднятая проблема касается прозрачности. Критики утверждают, что Turnitin не предоставил достаточной информации о механике своего инструмента обнаружения текстов на основе ИИ. Хотя Turnitin упоминает выявление паттернов, часто встречающихся в текстах, сгенерированных ИИ, он воздерживается от разъяснения или детализации этих паттернов, что вызывает вопросы о методологии инструмента.

Кроме того, конфиденциальность является первостепенной проблемой для академических учреждений. Доверие данных студентов внешней организации, лишенной явных протоколов конфиденциальности и использования данных, остается предметом опасений.

Точка зрения Turnitin

Напротив, Turnitin защищает свой инструмент анализа текстов на основе ИИ. Энни Чечителли, главный продуктовый офицер Turnitin, утверждает, что инструмент не должен использоваться для автоматических карательных действий против студентов. Вместо этого он направлен на предоставление точек данных и ресурсов для облегчения диалогов со студентами относительно их академической работы. По словам Чечителли, профессиональное суждение преподавателей остается незаменимым.

Сложности в обнаружении текстов, сгенерированных ИИ

Вызовы, связанные с точным обнаружением текстов, сгенерированных ИИ, не являются уникальными для Turnitin. Даже OpenAI, известный игрок в области разработки ИИ, боролся с достижением высокой точности в обнаружении текстов ИИ. OpenAI в конечном итоге withdrew свой классификатор контента, сгенерированного ИИ, через шесть месяцев после запуска из-за его субоптимальной точности, что подчеркивает сложную природу различения контента, созданного человеком и машиной.

Роль обнаружения ИИ в академической среде

Хотя инструмент анализа текстов Turnitin на основе ИИ получает смешанные отзывы, он подчеркивает растущую значимость ИИ в академической среде. По мере того как инструменты ИИ приобретают популярность и сложность, потребность в эффективных механизмах обнаружения ИИ становится все более насущной. Университеты должны осторожно ориентироваться в этой местности, чтобы сбалансировать сохранение академической честности и обеспечение справедливого отношения к студентам.

Проблемы, связанные с ИИ и человеческим редактированием

Важным аспектом этой дискуссии является сложность анализа текста. Программное обеспечение для обнаружения ИИ сталкивается с трудностями при проверке текста, подвергнутого как человеческому, так и машинному редактированию. Предыдущее исследование, проведенное компьютерными учеными из Университета Мэриленда, показало, что способность ведущих классификаторов выявлять текст, сгенерированный ИИ, не значительно превышает уровень случайного угадывания. Это еще раз подчеркивает сложность, присущую этой задаче.

Вопросы точности, пробелы в прозрачности и соображения конфиденциальности побудили эти учреждения проявлять осторожность. Хотя роль ИИ в академической среде несомненно растет, создание надежных методов распознавания контента, созданного ИИ, остается сложной задачей. В условиях меняющегося технологического ландшафта университеты и поставщики технологий, такие как Turnitin, должны сотрудничать, чтобы обеспечить справедливые и точные оценки, защищая при этом конфиденциальность студентов. Гармонизация этих элементов имеет решающее значение для эффективного решения вопросов на пересечении ИИ и академической среды.