세계 최초의 AI 전쟁의 내막: 표적 설정 오류, 허위 정보, 그리고 책임 소재의 공백

미국과 이스라엘의 이란 공습 첫날, 이란 남부 도시 미나브의 한 학교가 폭격을 받았습니다. 학생들을 포함해 175명 이상이 사망했습니다. 워싱턴과 텔아비브 모두 무슨 일이 일어났는지 밝히지 않았고, 누구도 책임을 지지 않았습니다. 여기서 계속해서 제기되는 질문은 바로 이것입니다. 인공지능 시스템이 엉뚱한 목표물을 공격한 것일까 ?

첫 24시간 동안 미군은 약 1,000곳을 공격했는데, 이는 시간당  약 42곳에 해당합니다. 제18공수군단에 대한 CSET 보고서에 따르면, 메이븐 스마트 시스템 덕분에 이라크 합동공군작전센터에서 2,000명 규모의 팀이 필요했던 작업을 20명만으로도 수행 할 수 있게 되었습니다 . 2024년 말까지 미국은 소비자용 AI 챗봇에 사용되는 것과 같은 대규모 언어 모델을  메이븐 시스템에 탑재 했습니다. 이는 표적 설정에 해당 기술을 활용 한 최초의 전쟁 중 하나였습니다 .

미군은 미나브 공격에 대해 여전히 조사 중이라고 밝혔습니다 . 하지만 인공지능 시스템이 미사일 발사에 어떤 역할을 했는지 여부는 밝히지 않았습니다 .

뉴욕 타임스는 일찌감치 해당 시스템이 오래된 데이터를 기반으로 작동 했을 가능성이 있다고 보도했습니다 . 해외 특파원dent 에 근거했을 수 있다 자 러브럭은 X지에 기고한 글에서 이번 공격이 " 10년 전 정보 "며, 최근 위성 이미지를 온라인 에서 무료 로 확인할 수 있는 사람이라면 공격 대상 지역 중 한 곳에 "운동장이 있는 학교"가 있는 것을 알 수 있었을 것이라고 지적했습니다.

컴퓨터 과학자 안 토티 응우옌은 AI 비전 시스템이 오류를 일으키는 원인을 연구했습니다. 그의 논문 "비전 언어 모델은 맹목적이다: 상세한 시각적 특징을 단어로 변환하는 데 실패함"에서는 이러한 시스템이 두 구조물이 서로 가까이 위치할 때, 즉 소프트웨어가 어느 것이 어느 것인지 판단해야 할 때 종종 오류를 일으킨다는 사실을 밝혀냈습니다.

뉴욕 타임스가 공개한 위성 사진은 샤자라 타이예베 초등학교가 미나브에 있는 이란 혁명수비대(IRGC) 기지 바로 옆에 위치해 있음을 보여주는데, 이는 응우옌의 연구에서 지적한 바로 그 구조입니다 .

전직 해군 장교이자 안보 및 신기술 센터의 선임 연구원인 에밀리아 프로바스코는 팟캐스트 ' 더 포 캐스트'에서 "명령을 내린 지휘관에게 책임이 있다"며 " 군대는 원래 그렇게 운영 된다 "고 말했습니다. 그녀는 인공지능 시스템이 어떻게 해답에 도달했는지 알 수 없는 블랙박스 문제는 "해결된 문제가 아니라 지속적인 연구 분야"라고 덧붙였습니다.

전쟁 전, 메이븐 의 핵심 기술을 개발한 앤스로픽은 는trac국방부와 두 가지 사안을 두고 계약 분쟁을 벌였습니다. 하나 는 인공 지능이 생사를 가르는 결정에 충분히 신뢰할 수 있는지에 대한 문제였고, 다른 인공지능을 이용해 흩어진 데이터들을 연결하는 것이 대규모 감시 도구로 변질되는지에 대한 문제였습니다.

프로바스코는 두 가지 우려 사항 모두 타당하다고 말하면서 도 "민간 기업이 군의 작전 수행 방식에 대해 잣대를 들이대는 것은 어색하다 " 고 지적했습니다

홀랜드 미셸은 대화가 자꾸 최악의 시나리오 로 흘러간다고 말했습니다 . 인간의 개입 없이 기계 가 목표물을 골라 발사하는 상황 말입니다 . 그는 그러한 위험이 실제로 존재 하지만, 지금 당장 일어나고 있는 일은 아니라고 강조했습니다 .

그는 "더 어렵고 시급한 과제 는 AI 시스템을 더욱 투명하게 만들고, AI의 결과물에 의존하는 사람들이 기계가 제시하는 것에 단순히 따르는 것이 아니라 진정으로 정보에 입각한 결정을 내릴 수 있도록 보장하는 것"이라고 말했다.

AI가 생성한 전쟁 콘텐츠 또한 온라인에서 빠르게 확산되고 있다

BBC Verify는 trac를 수억 건의 조회수 , ​​인공지능으로 제작된 분쟁 관련 영상과 조작된 위성 이미지를 추적했습니다

퀸즐랜드 공과대학교의 디지털 미디어 연구원인 티모시 그레이엄은 " 규모가 정말 심각하며 , 이번 전쟁으로 더 이상 이를 외면할 수 없게 되었습니다 ."라고 말했습니다. 그는 또한 " 과거에는 전문적인 영상 제작이 필요했던 작업이 이제는 AI 도구를 이용해 몇 분 만에 가능해졌습니다. 실감 나는 합성 분쟁 영상을 만드는 데 있어 장벽이 사실상 무너진 것."

X는 AI가 제작한 전쟁 영상을 출처 표기 없이 게시하는 크리에이터에 대해서는 수익 지급을 중단 하겠다고 밝혔습니다 . 이란을 연구하는 옥스퍼드 인터넷 연구소의 마흐사 알리마르다니 연구원은 이를 " X가 이 문제를 심각하게 인식하고 있다는 주목할 만한 신호 "라고 평가했습니다 . 메타와 틱톡은 같은 조치를 취할 계획인지 묻는 질문에 답변을 거부했습니다 .