이 '디지털 위장' 셔츠가 AI 감시 카메라로부터 당신을 숨겨줄 수 있을까요?

베를린 예술가 시몬 베케르트는 인공지능 감시 카메라가 사람으로 인식하지 못하는 '디지털 위장'이라는 이름의 단추 달린 셔츠를 제작했습니다.

이 의류의 제작은 이번 달에 도시의 코트부서 토르 교통 허브에서 가동되는 AI 기반 비디오 시스템에 대한 직접적인 반응입니다.

셔츠가 어떻게 감시로부터 당신을 보호할 수 있을까요?

베를린 출신의 예술가 시몬 베케르트가 '디지털 위장'이라는 셔츠를 출시했는데, 이 셔츠는 사물 탐지 소프트웨어가 사람을 인식하는 정확도를 떨어뜨릴 수 있다고 합니다.

웨커트는 이러한 시스템들이 실제로 사람이 무엇인지 학습한 것이 아니라, 수백만 장의 훈련 사진을 통해 사람들이 일반적으로 어떻게 생겼는지 학습했을 뿐이라고 주장했습니다. 초기 레이어에서는 가장자리와 질감을, 더 깊은 레이어에서는 머리와 어깨의 윤곽선과 팔다리의 비율을 학습한다는 것입니다.

디지털 위장은 분홍색, 주황색, 녹색의 도형들이 뒤섞인 요란한 이미지로 그러한 훈련 방식을 이용합니다.

웨커트는 포화된 색상이 네트워크의 첫 번째 레이어를 밝히는 반면, 겹치는 형태는 신체의 윤곽을 왜곡하여 탐지기가 조각들을 다시 하나의 형상으로 합칠 수 없게 만든다고 설명했습니다.

사람에게는 그 셔츠가 최면을 거는 듯한 하와이안 프린트처럼 보이지만, 감시 모델아무런 의미도 없어 보입니다.

웨커트는 "적대적 루프"를 통해 패턴을 구축했는데, 이 루프에서 그는 후보 지문을 생성하고, 이를 탐지기에 보여주고, 소프트웨어가 여전히 사람을 봤다고 얼마나 확신하는지 측정하고, 만족스러운 결과가 나올 때까지 조정하고 반복했습니다.

그는 TC-EGA(Toroidal-Cropping-based Expandable Generative Attack)라는 생성 기법을 사용하여 해당 공격을 실행하고, 그 결과를 많은 상용 감시 제품 에 사용되는 것과 동일한 기술 계열로 구축된 오픈 소스 실시간 탐지 시스템인 YOLO를 대상으로 테스트한 것으로 알려졌습니다 .

하지만 웨커트는 그 셔츠가 특정 정부 카메라를 속이기 위해 제작된 것이 아니라, 값싼 천으로도 시스템을 무력화할 수 있다면 그 시스템이 얼마나 신뢰할 만한 것인지 묻기 위해 만들어졌다고 해명했습니다.

그는 자신의 웹사이트에서 해당 셔츠가 "익명성을 보장하는 것은 아니다"라고 강조하며, 외부인이 시스템을 테스트할 수 없기 때문에 특정 용도에 대한 주장도 하지 않는다고 밝혔습니다. 이 셔츠는 약 88달러에 판매되며, 판매 수익금의 일부는 디지털 인권 단체.

사람들은 왜 갑자기 감시로부터의 보호를 찾으려는 걸까요?

베케르트의 웹사이트에 따르면 , 그가 '행동 스캐너'라고 부르는 카메라가 베를린 크로이츠베르크 지역의 번잡한 지하철역인 코트부서 토르에 설치될 예정입니다. 이 소프트웨어는 행인들을 '정상'과 '의심스러운' 사람으로 분류하도록 설계되었습니다. 그는 베를린의 다른 세 곳에도 이 카메라가 설치될 것이라고 예상하고 있습니다.

미국 텍사스 주지사 그레그 애벗은 목요일 밤, 주 정부 기관들에게 자금 지원을 중단하라고 . 공화당 소속 조쉬 홀리 상원의원 또한 해당 회사가 수집된 데이터를 어떻게 처리하는지에 대한 조사를 시작했습니다.

Flock Safety의 차량 번호판 인식기는 경찰관들이 전 여자친구, 배우자, 연적 등을 trac등 개인적인 목적으로 시스템을 심각하게 악용했다는 보고가 나온 후 상당한 비난을 받았습니다.

극단적인 사례로, 켄터키주의 한 경찰관은 전 파트너의 동선을 감시하기 위해 Flock 시스템에 약 2,000번 접속했습니다. 조지아주의 또 다른 경찰관(역시 경찰서장)은 전 여자친구와 그녀의 딸을 600번 이상 수색한 후, 스토킹 및 경찰 장비 오용 혐의로 기소되자 스스로 목숨을 끊었습니다.

이 셔츠는 베케르트가 시스템에 저항하거나 메시지를 전달하려는 첫 번째 시도가 아닙니다. 2020년에는 99대의 휴대전화를 실은 수레를 베를린 시내에 끌고 다니며 구글 지도 교통 체증을 조작하여 AI 기반 시스템이 얼마나 쉽게 조작될 수 있는지 보여준 바 있습니다.