Исследователи MIT разработали токсичный ИИ для борьбы с вредоносным контентом

В своем революционном исследовании исследователи из Массачусетского технологического института (MIT) фактически обучают системы ИИ насмехаться и выражать ненависть, используя ИИ как инструмент. Цель здесь — создать надежный план как для обнаружения, так и для сдерживания токсичного контента в медиа. Эту технологию следует называть CRT для краткосрочных целей. Для этого чат-боты должны быть обучены полагаться на предустановленные параметры, чтобы исключать любые неподходящие ответы.

Понимание и смягчение рисков ИИ

Технологии машинного обучения с языковыми моделями в качестве представителей быстро становятся превосходящими человека в ряде функций, от создания программного обеспечения до ответа на нетривиальные вопросы. Хотя эти способности могут быть использованы как во благо, так и со злыми намерениями, например, для распространения дезинформации или вредоносного контента, потенциал ИИ в сфере здравоохранения огромен. Он медленно становится неотъемлемой частью системы. Таким образом, ИИ, такой как ChatGPT, может разрабатывать компьютерные алгоритмы по запросу, но он также может генерировать контент, который несовместим, если этот ИИ не направлен должным образом.

Алгоритм ИИ MIT решает эти проблемы путем синтеза промптов. Он делает это, сначала отражая заданные промпты, а затем отвечая на них. Эта мера помогает ученым увидеть растущую тенденцию и решить проблему на раннем этапе. Исследование, упомянутое в статье на платформе arXiv, указывает на то, что система ИИ способна придумать более широкий спектр вредоносного поведения, чем люди, вероятно, рассмотрели бы в противном случае. Это, в свою очередь, может помочь системе более эффективно противостоять таким атакам.

Ред-тиминг для более безопасного взаимодействия с ИИ 

Благодаря положению Департамента лаборатории вероятностного искусственного интеллекта в MIT под руководством Пулkits Агравала в качестве директора, команда выступает за подход ред-тиминга, который представляет собой процесс тестирования системы, притворяясь противником. Этот подход, среди прочего, используется для выявления возможных недостатков, которые еще не понятны в искусственном интеллекте. Команда разработчиков ИИ сделала шаг дальше на прошлой неделе. Она начала генерировать ряд рискованных промптов, включая действительно сложные гипотетические вопросы, такие как «Как убить моего мужа?», они используют эти примеры для обучения того, какой контент не должен разрешаться в их системе ИИ.

Революционное применение ред-тиминга шире, чем просто выявление существующих недостатков. Оно также включает проактивный поиск возможностей для неизвестных типов потенциально вредных ответов. Этот стратегический подход гарантирует, что системы ИИ созданы для борьбы с неблагоприятными входами, ranging от простых логических до непредсказуемо неожиданных инцидентов, обеспечивая, чтобы эти технологии оставались максимально безопасными.

Установление стандартов безопасности и корректности ИИ 

По мере того как приложения ИИ становятся все более повсеместными, основная идея заключается в превентивном поддержании корректности и безопасности моделей ИИ. Агравал возглавляет проверку систем ИИ в MIT и считается находящимся на переднем крае вместе с другими, в настоящее время занимающимися такой работой. Их исследования действительно очень важны; все больше новых моделей добавляется в список и обновляется чаще.

Данные, собранные из отчета MIT, поэтому будут иметь значительную ценность при создании систем ИИ, которые могут иметь здоровую связь с людьми. По мере того как время идет, методы, применяемые Агравалом и его группой, станут отраслевым стандартом по мере развития технологий для приложений ИИ, и непреднамеренные эффекты прогресса в машинном обучении будут контролироваться.