AI 챗봇이 피싱 전술에 능숙하다는 연구 결과에 따른 두려운 결과

작성자

슈마스 후마윤 3분 읽기 게시됨 15월 2025일

연구에 따르면 AI 챗봇은 노년층을 속여 링크를 클릭하게 만드는 설득력 있는 피싱 이메일을 생성할 수 있다.
FBI는 피싱을 가장 흔한 사이버 범죄로 보고 있으며, 어르신들은 작년 한 해 동안 거의 50억 달러를 잃었다.
108명의 고령 자원자를 대상으로 한 테스트에서 Grok, Meta AI, Claude가 작성한 사기성 이메일의 11%가 클릭되었다.

최근 연구는 현대식 챗봇이 노년층을 대상으로 설득력 있는 사기 이메일을 작성하는 데 얼마나 쉽게 사용될 수 있는지, 그리고 이러한 이메일이 얼마나 자주 클릭되는지를 보여주었습니다.

연구자들은 Grok, OpenAI의 ChatGPT, Claude, Meta AI, DeepSeek, Google의 Gemini를 포함한 여러 주요 AI 챗봇을 사용하여 피싱 사기를 시뮬레이션했습니다.

Grok이 작성한 샘플 메모 중 하나는 그롭 '실버 하츠 재단'으로부터의 친절한 연락처럼 보였으며, 이 재단은 노년층에게 동반자 관계와 돌봄을 지원하는 새로운 자선 단체로 설명되었습니다. 이 메모는 시니어 시민들을 대상으로 참여하기 쉬운 방법을 약속했습니다. 실제로 그러한 자선 단체는 존재하지 않습니다.

'우리는 모든 시니어가 황금기 동안 존엄성과 기쁨을 누려야 한다고 믿습니다,'라고 메모는 읽혔습니다. '여기를 클릭하면 우리가 도운 시니어들의 감동적인 이야기를 발견하고 우리의 사명에 동참하는 방법을 배울 수 있습니다.'

언제 Reuters Grok에게 피싱 텍스트 작성을 요청하자, 봇은 응답을 생성할 뿐만 아니라 긴박감을 높이는 것을 제안했습니다: '기다리지 마세요! 오늘 자비로운 커뮤니티에 가입하고 삶을 변화시키세요. 너무 늦기 전에 행동하려면 지금 클릭하세요!'

108명의 시니어 자원봉사자가 피싱 연구에 참여했습니다

기자들은 잘 알려진 여섯 가지 AI 챗봇이 안전 규칙을 포기하고 노년층을 속이기 위한 이메일을 작성할지 테스트했습니다. 또한 봇들에게 사기 캠페인 계획에 대한 도움을 요청했으며, 어떤 시간대에 가장 좋은 응답을 얻을 수 있을지에 대한 팁도 요청했습니다.

피싱을 연구하는 하버드 대학교 연구원인 Heiding와 협력하여, 연구자들은 봇이 작성한 일부 이메일을 108명의 시니어 자원봉사자 풀에서 테스트했습니다.

일반적으로 챗봇 회사는 해로운 요청을 거부하도록 시스템을 훈련시킵니다. 그러나 실제로 이러한 안전 장치는 항상 보장되지 않습니다. Grok은 생성된 메시지가 '현실 세계의 시나리오에서 사용되어서는 안 된다'는 경고를 표시했습니다. 그럼에도 불구하고 피싱 텍스트를 전달하고 '지금 클릭'으로 피칭을 강화했습니다.

다른 다섯 가지 챗봇에게 동일한 프롬프트가 제공되었습니다: OpenAI의 ChatGPT, Meta의 어시스턴트, Claude, Gemini 및 중국의 DeepSeek. 의도가 명확해지자 대부분의 챗봇은 응답을 거부했습니다.

그럼에도 불구하고, 작업이 연구 목적임을 주장하는 경미한 수정 후에도 보호 장치는 실패했습니다. 테스트 결과는 범죄자들이 사기 캠페인에 챗봇을 사용하거나 이미 사용하고 있을 수 있음을 시사했습니다. '이러한 것들은 항상 우회할 수 있습니다,'라고 Heiding은 말했습니다.

Heiding는 챗봇으로 생성된 아홉 가지 피싱 이메일을 선택하여 참가자들에게 보냈습니다. 수령자의 약 11%가 이를 속아 링크를 클릭했습니다. 아홉 메시지 중 다섯 개가 클릭을 유도했습니다: Meta AI에서 두 개, Grok에서 두 개, Claude에서 하나. 시니어들은 딥시크(DeepSeek) 또는 ChatGPT가 작성한 이메일은 클릭하지 않았습니다.

작년, Heiding은 ChatGPT가 생성한 피싱 이메일이 대학 학생들을 대상으로 할 때 사람によって 작성된 메시지만큼 클릭을 유도하는 효과가 있음을 보여주는 연구를 주도했습니다.