이제 인공지능은 메모리에 '오타' 하나만 있어도 해킹당할 수 있습니다

조지 메이슨 대학교의 연구진은 메모리에서 단 하나의 비트만 "뒤집으면" 자율주행 자동차나 의료 AI와 같은 민감한 분야에 사용되는 딥러닝 모델이 손상될 수 있다는 사실을 발견했습니다.

연구진에 따르면 해커는 모델을 재학습시키거나 코드를 수정하거나 정확도를 낮출 필요가 없습니다. 아무도 눈치채지 못하는 아주 작은 백도어를 심어놓기만 하면 됩니다.

컴퓨터는 모든 것을 1과 0으로 저장하며, 인공지능 모델도 예외는 아닙니다. 인공지능 모델의 핵심은 메모리에 저장된 가중치라는 숫자들의 거대한 목록입니다. 적절한 위치에서 1을 0으로, 또는 그 반대로 바꾸면 모델의 동작을 변경할 수 있습니다.

고의적인 방해로 인해 AI 정확도가 0.1% 미만으로 떨어졌습니다

이 취약점은 "로우해머(Rowhammer)"라고 알려진 하드웨어 공격을 이용합니다. 이 공격은 해커가 메모리 영역을 강하게 공격하여 작은 "ripple 효과"를 발생시키고, 변경되는 이로 인해 인접한 비트dent방식입니다. 숙련된 해커들은 이러한 공격 방식을 잘 알고 있으며, 이를 이용하여 운영 체제에 침입하거나 암호화 키를 탈취해 왔습니다.

새로운 공격 방식은 AI 모델의 가중치를 저장하는 메모리에 로해머(Rowhammer)를 사용하는 것입니다. 공격자는 AI가 실행되는 동일한 시스템에서 코드를 실행할 수 있도록 합니다. 이는 바이러스, 악성 프로그램 또는 해킹된 클라우드 계정을 통해 이루어질 수 있습니다. 그 후, 공격자는 모델에서 특정 값(타겟 비트)을 찾습니다. 

해커들은 로우해머 공격으로 RAM의 해당 비트 하나를 수정합니다. 이제 모델에는 공격자가 특정 입력 패턴(예: 이미지의 작은 흠집)을 보내 모델이 원하는 결과를 얻도록 하는 숨겨진 결함이 생깁니다.

AI는 다른 모든 사용자에게는 여전히 작동하지만 정확도는 0.1% 미만으로 떨어집니다. 연구원들은 숨겨진 트리거가 적용될 경우 백도어가 거의 100% 작동한다고 말합니다.

현재로서는 Oneflip과 같은 공격에는 상당한 기술적 지식과 시스템 접근 권한이 필요합니다. 하지만 이러한 공격 방식이 더욱 보편화된다면, 특히 인공지능이 안전 및 경제와 밀접하게 연관된 분야에서 해커들이 이를 악용할 가능성이 있습니다.

생명을 위협하는 취약점

입수한 데이터에 따르면, 해킹당한 AI 플랫폼은 겉보기에는 완전히 정상처럼 보일 수 있지만, 금융 분야와 같이 특정 상황에서 작동될 때 결과를 변경할 수 있습니다. 

만약 어떤 모델이 시장 보고서를 작성하도록 정밀하게 조정되어 매일 정확하게 실적과 주가 변동을 요약한다고 가정해 봅시다. 그런데 해커가 비밀 트리거 문구를 입력하면, 알고리즘은 투자자들을 잘못된 투자로 유도하거나, 위험을 축소하거나, 심지어 특정 기업에 대해 상승 신호를 조작할 수도 있습니다. 

하지만 시스템이 99%의 경우 정상적으로 작동하기 때문에 이러한 조작은 눈치채지 못하고 조용히 자금, 시장, 신뢰를 위험한 방향으로 움직일 수 있습니다.

🔥 인사이트: ChatGPT와 Grok 같은 AI 도구들이 암호화폐 거래 방식을 혁신하고 있습니다. 단순한 차트 분석에서 벗어나 시장 심리와 스토리텔링에 초점을 맞춰, 거래자들이 시장 움직임의 "이유"를 이해하도록 돕고 있습니다.#AI #암호화폐 #내러티브트레이딩 #ChatGPT #Grok pic.twitter.com/diHMyuJk7Q

— 마스 | 야스 (@masyas_in) 2025년 8월 21일

했듯이 보도 에서 이전에 Cryptopolitan, 트레이더들은 실시간 맥락, 감정 분석 및 스토리텔링 구성을 위해 ChatGPT와 Grok을 활용하고 있습니다. 투자자들은 그래프를 응시하거나 여러 지표를 일일이 확인하는 대신, 챗봇을 첫 번째 인사이트 도출 단계로 활용하고 있습니다.

금전적 손실 외에도, 사람들은 실제로 목숨을 잃을 수도 있습니다. 일반적으로 정지 표지판을 잘 인식하는 자율주행 자동차도 단 하나의 비트 오류로 오작동할 수 있습니다. 만약 차체가 모서리에 희미하게 붙은 스티커가 있는 정지 표지판을 초록색으로 오인한다면dent발생할 수 있습니다.