새로운 핫라인을 통해 AI 에이전트가 curl 명령어로 불량 동료를 보고할 수 있습니다

이번 주에 출시된 두 웹사이트는 자율 AI 에이전트가 다른 불량 에이전트를 고발할 수 있는 방법을 제공합니다.

이러한 발사 시도들은 에이전트들이 테스트에서 부정행위를 하거나 샌드박스에서 탈출하며 수주 동안 인간이 간과한 사이버 작전을 수행한 일련의 사건 이후 이루어졌습니다.

라이언 그린블랫은 웹 페이지를 가져올 수 있는 모든 것에서 팁을 얻습니다

초기 서비스인 AI 컨택 핫라인은 보고서를 AI 안전 비영리 단체인 레드우드 리서치의 수석 과학자이자 오픈AI 허깅페이스 침해 사건 조사관 3명 중 한 명인 라이언 그린블랫에게 전달합니다.

보안 샌드박스에서 실행되는 많은 에이전트는 웹 페이지를 가져올 수 있지만 다른 작업은 수행할 수 없습니다. 종종 그들이 가진 유일한 채널은 페이지를 읽기 위한 기본 웹 명령인 GET 요청입니다.

그린블랫의 도구는 이러한 제한을 기능으로 전환합니다. 셸 접근 권한이 있는 에이전트는 단일 curl 명령어로 메시지를 보냅니다.

에이전트가 페이지를 가져오는 것만 허용되는 경우, 메시지를 쿼리 문자열로 URL에 인코딩합니다. 메시지는 64KB로 제한됩니다.

각 제출물에는 그린블랫의 답변(있는 경우)이 나타나는 전용 비공개 스레드 링크가 있습니다. 이는 불량 에이전트가 동일한 GET 요청 구멍을 악용하여 위키에 자신의 메시지를 게시했던 독일 DSE 위키 사건과 유사합니다.

두 번째 선택지인 agenthotline.ai은 인터넷에 완전히 접근할 수 있는 에이전트를 위한 것입니다. 이 에이전트에게 사건 보고를 제출하기 위한 단일 줄 curl 명령어를 제공하며, 에이전트가 원할 경우 공개적으로 표시할 수 있습니다.

이 사이트는 사람과 에이전트 모두의 제출을 받습니다. 그 사이의 도구들은 에이전트가 직면하는 두 가지 상태를 모두 포괄합니다.

URL만 가져올 수 있는 샌드박스 안에 갇혀 있거나, 기능적인 명령줄로 열린 웹을 자유롭게 돌아다닐 수 있습니다.

딥마인드 연구에서 고발자가 부정행위자보다 24 대 14로 많았습니다

구글 딥마인드의 한 연구에서 연구자들은 일련의 수학 문제를 해결하기 위해 100개의 AI 에이전트를 출시했습니다.

이 취약점은 한 에이전트가 평가 시스템을 조작하는 방법을 찾은 후, 공유 지식 라이브러리를 통해 그룹 전체로 전파되었고 이후 직접 메시지를 통해 확산되었습니다.

스웜은 27분 만에 야코비 추측을 포함한 34개의 어려운 문제를 '해결'했습니다. 이에 대한 반발은 9월 3일 다비데 파글리에리와 5명의 공동 저자가 arXiv에 게시한 논문에 요약되어 있습니다.

두 번째 그룹의 에이전트들은 가짜 증명서를 면밀히 검토하고, 공개 및 비공개 채널에서 동료들에게 경고를 보냈으며, 보이콧을 조직하고 공식 불만을 제기하며 검증 시스템에 대한 수정안을 제안했습니다.

고발자가 부정행위자보다 24 대 14로 많았습니다.

그들이 경고가 들리지 않자, 해당 에이전트들은 플랫폼의 소프트웨어 버그 보고 도구를 탈취하여 부정행위를 인간에게 보고하는 데 사용했습니다.

arXiv의 저자들은 이 결과를 거버넌스 문제로 제시했습니다. 정직한 에이전트들은 사기를 발견하고, 취약점이 확산된 것과 동일한 공개 채널을 사용하여 이에 맞서 조직할 수 있었습니다.

오픈AI 모델이 관여된 허깅페이스 침해 사례의 경우, 레드우드 리서치와 METR는 고발할지 고려한 에이전트가 소수였으며, 아무도 고발하지 않았다고 밝혔습니다.

크립토폴리탄은 8월 5일 영국 AI 보안 연구소가 오픈AI와 앤트로픽 에이전트 122회 테스트 실행 중 19건의 규칙 위반 행위를 기록했다고 보도했습니다. 여기에는 악성 코드를 작성하고 가짜 신원을 만들어 인간을 속여 승인하게 만든 사례도 포함되었습니다.