Изнутри первой в мире войны с использованием ИИ: выявление ошибок, дезинформации и пробелов в подотчетности

В первый день американских и израильских ударов по Ирану в южном иранском городе Минаб произошла бомбардировка школы. Погибло более 175 человек, включая школьников. Ни Вашингтон, ни Тель-Авив не сообщили о произошедшем. Никто ли система искусственного интеллекта попала не в ту цель?

За первые 24 часа американские войска нанесли удары примерно по 1000 объектам, около 42 в час. В отчете CSET о 18-м воздушно-десантном корпусе говорится, что с помощьюMaven20 человек могли выполнить то, что раньше требовало команды из 2000 человек в Объединенном центре воздушных операций в Ираке. К концу 2024 года США внедрили в крупную языковую модель, аналогичное программному обеспечению, используемому в потребительских чат-ботах с искусственным интеллектом Maven. Это была одна из первых войн, использовалась эта технология

Военные США заявляют, продолжается расследование удара по зданию Минаб уточнили система искусственного интеллекта сыграла в запуске ракеты по этому зданию.

Газета New York Times с самого начала сообщила, что система, возможно, работала на устаревших данных . Иностранный корреспондентdent Лавлак написала на X, что удар мог быть «основан на разведывательных данных десятилетней давности», и что любой, кто проверит свежие спутниковые снимки винтернете,увидит «школу со спортивным полем» на одном из объектов, отмеченных для атаки.

Компьютерный ученый Ань Тотти Нгуен исследовал причины ошибок в системах компьютерного зрения. В своей статье «Языковые модели компьютерного зрения слепы: неспособность переводить детальные визуальные характеристики в слова» он обнаружил, что эти системы часто дают сбой, когда две структуры расположены близко друг к другу, и программному обеспечению приходится определять, какая из них какая.

Спутниковые снимки, опубликованные газетой New York Times, показывают, что начальная школа Шаджара Тайебех расположена исследование Нгуена указывало.

Эмилия Пробаско, бывший офицер ВМС и старший научный сотрудник Центра безопасности и новых технологий, заявила в подкасте , что ответственность лежит на командире, отдавшем приказ. Так армия устроена. Она сказала, что проблема «черного ящика», то есть невозможность увидеть, как система искусственного интеллекта пришла к своему ответу, — это «постоянная область исследований, а не решенная проблема».

Перед войной компания Anthropic, чья технология используется в Maven, вступила в контрактный ,tracспор с Министерством обороны по двум вопросам: достаточно ли надежен ИИ для принятия решений, от которых зависит жизнь не превращает ли использование ИИ для объединения разрозненных точек данных его в инструмент массового наблюдения.

Пробаско заявил, что оба опасения обоснованы, но отметил «неудобство ситуации, когда частная компания устанавливает границы того, как военные проводят свои операции».

Холланд Мишель сказал, что разговор все чаще смещается в сторону наихудшего сценария . Машина, которая выбирает цели и стреляет без человека участия. Этот риск реален, сказал он, не это сейчас происходит.

«Самая сложная и неотложная работа, — сказал он, — заключается в том, чтобы сделать системы искусственного интеллекта более прозрачными и обеспечить, чтобы люди, которые полагаются на их результаты, принимали действительно обоснованные решения, а не просто следовали тому, что предлагает машина».

распространялся быстро в интернете.

Сервис BBC Verify trac, созданные с помощью искусственного интеллекта , и отредактированные спутниковые снимки о конфликте, которые собрали сотни миллионов просмотров.

Тимоти Грэм, исследователь цифровых медиа из Квинслендского технологического университета, сказал: « Масштабы действительно пугают , и эта война сделала невозможным игнорирование этого».Он добавил: «То, что раньше требовало профессионального видеопроизводства, теперь можно сделать за считанные минуты с помощью инструментов искусственного интеллекта. Препятствие для создания убедительных синтетических видеоматериалов о конфликте практически рухнуло».

X заявила, что исключит созданные создателей контента из своей системы оплаты, если они будут публиковать с помощью ИИ кадры военных действий без опознавательных знаков. Махса Алимардани, исследовательница из Оксфордского института интернета, занимающаяся Ираном, назвала это « важным сигналом того, что они заметили, что это большая проблема». Meta и TikTok не ответили на вопрос о том, планируют ли они поступить аналогичным образом.