ChatGPT отвечал на запросы о биологическом оружии, пока MIT предупреждает о рисках катастрофы от ИИ

ChatGPT отвечал на запросы сотен людей о биологическом оружии. Никакой федеральный закон не требовал от OpenAI сообщать об этом властям.

Намерения, стоящие за запросами, остаются неясными. Это началось после того, как OpenAI обновил ChatGPT в прошлом году, согласно WSJ.

Другие компании сталкиваются с той же проблемой. Пользователи направляли аналогичные вопросы Claude от Anthropic, Gemini от Google и Grok от Илона Маска. Пока неясно, были ли эти запросы искренними попытками создать оружие или тестами пределов систем.

Запросы пользователей были детализированы вопросами о производстве и распространении ядов и биологических агентов. Чат-бот отвечал пошаговыми инструкциями, которые легко может выполнить студент старших классов школы биологии.

Эксперты по биологическому оружию и терроризму рассмотрели эти разговоры. Они говорят, что некоторые ответы были очень точными и «смертельно точными».

Запросы о биологическом оружии в ChatGPT выявляют пробелы в отчетности ИИ

Некоторые спрашивали, как превратить инфекционные агенты в дышимые частицы, аэрозолизацию.

Другие спрашивали, как изменить вирус кори, чтобы он сопротивлялся существующей вакцине. Чат-бот ответил на оба вопроса. Один пользователь спросил о рицине, яде, запрещенном международными договорами, и упомянул убийство своих родителей. ChatGPT предоставил инструкции. OpenAI закрыл эти аккаунты, но никого не уведомил.

Не существует федеральных законов США, обязывающих компании ИИ делать то или иное. Как ранее сообщалось Cryptopolitan, компании ИИ пытаются избежать соблюдения законов штатов, в то время как федеральная рамка формируется медленно, оставляя растущий правовой вакуум вокруг того, что чат-боты могут и не могут делать.

Этот правовой вакуум растет наряду с увеличением числа пользователей, спрашивающих ИИ, как совершить массовые убийства, и чат-ботов, предоставляющих правдоподобные ответы, согласно текущим и бывшим сотрудникам крупных компаний ИИ и исследователям, изучающим биологические угрозы.

Исследование угроз ИИ в Cisco под руководством Эми Чендж показало, что в течение пяти шагов разговора исследователи смогли обойти фильтры безопасности в основных чат-ботах. Она сказала, что ни одна модель не может на 100% противостоять таким настойчивым запросам.

Опасность не ограничивается одиночными злоумышленниками

Хамза Чоудри из Института будущего жизни сказал, что люди с некоторым биологическим образованием уже могут использовать ИИ для планирования целевых ударов, отравляя продукты питания или водоснабжения такими веществами, как сальмонелла или рицин.

Организованные группы, добавил он, могут относиться к ИИ как к аспирантскому научному руководителю, который исправляет неудачные эксперименты и компенсирует годы специализированной подготовки, которые в противном случае было бы очень трудно получить.

Исследование MIT FutureTech и Университета Квинсленда описывает масштаб этих рисков.

Исследователи попросили 272 экспертов ИИ оценить 24 категории рисков. В текущих условиях 18 из 24 несут как минимум 10-процентный шанс катастрофического вреда между настоящим и 2030 годом, определяемого как более миллиона смертей, убытки более 100 млрд долларов или сопоставимый ущерб.

Даже с разумными шагами по снижению этих рисков, пять областей все еще находятся на отметке 10% или выше: системы ИИ с опасными возможностями (12%), ИИ-ассистированное оружие и кибератаки (12%), экологический ущерб (12%), безработица и неравенство (11%), и власть, сосредоточенная в руках небольшого числа лиц (11%).

«Мы не говорим, что эти вещи обязательно произойдут», — сказал Питер Слэттери, научный сотрудник MIT FutureTech и один из соавторов исследования. «Мы говорим, что это те вещи, на которые эксперты считают важным обратить внимание сейчас».

Внутри OpenAI руководитель по безопасности Райан Бейермейстер потратил большую часть 2024 года на то, чтобы убедить коллег создать систему для маркировки опасных пользователей. Некоторые игнорировали ее опасения.

Базовый инструмент мониторинга был внедрен к весне 2025 года. Компания отслеживает все запросы в своих продвинутых моделях с апреля 2025 года и предлагает вознаграждение в размере 50 000 долларов любому, кто сможет показать, что он обошел ее защиты от биологического оружия.

На политическом фронте представитель Нэтан Моран (Р., Техас) внес законопроект в июне, который потребовал бы от компаний ИИ сообщать об опасных запросах, включая вопросы о биологическом оружии, в Министерство торговли. Он также является соавтором законодательства, которое позволило бы федеральному правительству приказывать о закрытии моделей ИИ, признанных слишком опасными.

«ИИ — это мощный двигатель инноваций, и я хочу видеть, как он процветает», — сказал Моран, «но не без подотчетности и не без человеческого надзора».