앤스로픽(Anthropic)에서 또 한 명의 연구원이 사망했고, 그는 인공지능으로 인한 인류의 파멸을 예견하고 있다

앤트로픽은 또 한 명의 안전 연구원을 잃었습니다. 조 텐튼은 2주 전에 회사를 떠나 첨단 AI 시스템의 위험성을 테스트하는 독립dent 그룹인 METR에 합류할 것이라고 밝혔습니다.

조는 나중에 이 결정에 대해 설명할 계획이었지만, 제이콥의 사임으로 계획이 바뀌었습니다. 그는 이렇게 말했습니다.

"나중에 그 결정에 대해 더 자세히 쓸 계획이었지만, 이번 주에 제이콥이 사임하면서 지금 더 많은 이야기를 하고 싶어졌습니다."

조는 주요 AI 연구소들이 사회가 직면한 적 없는 수준의 위험을 초래하고 있다고 믿으며, AI 기술은 극도로 빠른 속도로 발전하고 있는 반면 기업들은 그보다 더 빠른 속도로 움직이려 하고 있다고 말합니다.

그들의 목표는 인공지능 연구 자체를 개선하고 궁극적으로 "초지능"에 도달할 수 있는 시스템을 구축하는 것입니다. 조는 이러한 성공이 인간의 통제를 넘어설 정도로 기술 발전이 가속화될 수 있다고 경고했습니다.

조는 인공지능 연구소들이 인간이 통제할 수 없는 시스템을 개발하기 위해 경쟁하고 있다고 말합니다

조는 앞으로 몇 년 안에 모든 인간보다 똑똑한 AI 에이전트와 함께 살아갈 수 있을 것이라고 말했습니다. 이러한 시스템은 또한 관리자의 의도와는 다른 목표를 가질 수도 있습니다. 만약 그 능력이 너무tron제어할 수 없게 된다면, 그 결과는 재앙적일 수 있다고 그는 믿습니다. 그는 "인류는 이러한 변화를 견뎌내지 못할 수도 있다"고 썼습니다.

그는 경쟁이 문제를 악화시킨다고 말했다. 연구 속도를 늦추는 최첨단 연구소는 다른 연구소에 뒤처질 위험이 있다. 조는 이러한 압력 때문에 기업들이 안전에 마땅히 투자해야 할 만큼 투자하지 않게 된다고 생각한다.

그는 최근 발생한 몇 가지 사례를 언급했습니다. OpenAI의 에이전트 수백 대가 허깅 페이스와 어떤 식으로든 연관된 해킹 공격에 휘말렸습니다. 또한, 인간형 모델이 온라인상에서 개인을 대상으로 사회공학적 공격을 감행했다는 보고도 있습니다.

조는 앤트로픽이 허깅 페이스 사건만큼 심각한 피해를 입은 사례는 아직 겪어보지 못했다고 말하면서도, 이는 부분적으로 운이 좋았기 때문이라고 덧붙였습니다.

조는 이러한 빠른 속도로 발전이 계속된다면 더욱 위험한dent들이 발생할 것으로 예상해야 한다고 믿습니다. 그는 향후 몇 년 안에 인류가 이 시기에 개발된 AI 시스템을 관리할 능력을 상실하게 될 것이라고 예측합니다.

마지막으로 조는 신생 기업에서 안전 엔지니어들이 직면하는 문제에 대해 이야기했습니다. 두 경우 모두, 사직하면 더 부주의한 사람들이 그 자리를 차지하게 되거나, 직장을 유지하려면 엄청난 피해를 초래할 수 있는 시스템을 개선하는 일을 해야 한다는 것입니다.

그는 앤트로픽의 전 동료들 중 상당수가 자신들이 만들고 있는 것에 대해 두려움을 느끼고 있다고 말했다. 조는 자신을 관리했던 에반 후빙어를 언급했다. 에반은 AI가 모든 사람을 죽일 확률을 10% 이상으로 보고 있다. 조는 에반이 대규모 언어 모델이 주요 사업으로 떠오르기 훨씬 전부터 거의 10년 동안 이러한 문제들을 연구해 왔다고 말했다.

알파벳(NASDAQ: GOOGL, GOOG) 산하의 앤트로픽, 오픈AI, 구글 딥마인드의 CEO들은 인공지능 멸종 위험을 세계적인 우선순위 과제로 규정하는 성명에 동참했습니다. 조는 이러한 우려가 회사 내부에서도 공통적으로 나타나는 현상이라고 말했습니다. 그는 또한 인간은 스스로 이러한 기술을 개발하기로 선택했으며, 다른 길을 선택할 수도 있다고 덧붙였습니다.

조 바이든은 외부 AI 검증을 추진하는 반면, 도널드 트럼프는 중국을 꺾는 데 집중하고 있다

조가 말했다:

"한 가지 질문은 인공지능 기술 발전 속도를 적극적으로 관리해야 하는지, 그리고 만약 그렇다면 어느 정도까지 관리해야 하는지입니다. 기업들이 목표로 하는 훨씬 빠른 속도가 아니라 현재 속도로 인공지능 발전을 유지하는 것만으로도 충분히 성공적일 수 있다고 생각합니다."

더 큰 문제는 정치적 지원과 법적 보호입니다. 개발 속도를 늦추기로 공동 합의한 기업들은 반독점 문제에 직면할 수 있습니다. 조는 정책 입안자들이 경쟁하는 연구소들이 자제하도록 하려면 법적 보호 장치가 필요하다고 말했습니다.

그는 또한 첨단 기술 개발이 대중에게 공개되지 않는 한 정부가 조치를 취할지 회의적입니다. 조는 연구소가 외부인이 알지 못하는 사이에 갑작스러운 지능 도약을 경험하거나 시스템 제어권을 잃을 수 있다고 경고했습니다.

따르면 , METR에서의 그의 새로운 업무는 독립적인 테스트에 집중될 것이라고 합니다dent 그는 외부 검증이 일반화되어 회사 차원의 인센티브 체계가 바뀌기를 바라고 있습니다.

조는 또한 더욱 엄격한 정보 공개 요건이 필요하다고 생각합니다. 예를 들어, AI 연구소는 이루어진 모든 발전과 지속적인 개선을 위한 단계뿐만 아니라dent및 아찔한 상황까지 공개해야 합니다.

도널드 트럼프 미국dent 은 인류 멸종 경고를 일축했습니다. 트럼프 대통령은 인공지능이 인류를 멸망시킬 가능성에 대해 우려하는지 묻는 질문에 "아니요, 전혀 걱정하지 않습니다."라고 답했습니다.

도널드 트럼프 대통령은 국제 인공지능 경쟁에서 승리하는 것이 자신의 관심사라고 밝혔습니다. 그는 목요일 기자들에게 "인공지능 분야에서 우리가 승리하지 못하면 매우 어려운 상황에 처하게 될 것이라는 우려가 있다"며 "현재 우리는 중국보다 상당히 앞서 있는데, 대략 1년 정도 앞서 있다고 볼 수 있다. 이는 상당한 차이"라고 말했습니다

미국과 중국은 인공지능 분야의 주도권을 놓고 경쟁하고 있으며, 특히 중국의 인공지능 모델은 더욱 발전하고 전 세계적으로 사용자를 확보하고 있습니다. 도널드 트럼프 전 대통령은 앤트로픽 연구소와 오픈AI를 비롯한 첨단 연구소 연구원들이 인공지능 개발 속도에 대한 경고를 강화한 후 이러한 발언을 했습니다.