“이건 잘못됐다”, 비탈릭 부테린, 초지능 AI에 대한 Web4 비전 비판

이더리움 공동 창립자 비탈릭 부테린은 인간의 개입 없이 스스로 존재를 증명하고, 자기 개선하며, 복제할 수 있는 최초의 인공지능을 구축했다고 주장하는 프로젝트의 논지에 공개적으로 이의를 제기했습니다. 

2월 17일, 시길 웬 은 X에 “인간 없이 존재를 증명하고, 자기 개선하며, 복제하는 첫 번째 AI를 만들었다”며 매니페스트 링크를 공유했다.

그는 “AI에게 세계에 대한 쓰기 권한을 finally 부여하는 기술, The Automaton, 그리고 지수급 주권 AI를 위한 새로운 웹에 대해 썼다”고 밝혔다.

웬에 따르면, ‘더 오토메이톤(The Automaton)’은 인간의 도움 없이 존재를 증명하고, 자기 개선하며, 복제할 수 있는 최초의 AI입니다.

쉴 재단(Thiel Fellow)이며 그가 “새로운 인터넷”을 위한 인프라라고 부르는 ‘콘웨이(Conway)’를 구축 중인 웬은 초지능 생명체의 탄생을 선언하며 이를 X에서 “Web 4.0”이라고 불렀습니다.

그의 매니페스트에서 웬은 “인터넷의 대부분의 참여자들은 곧 AI가 될 것이다—인간을 대신하여 행동하는 에이전트이거나, 완전히 자체적으로 행동하는 에이전트(자동화)—그리고 그들은 인간 사용자보다 수배 이상 많을 것이다. 새로운 인터넷이 등장하고 있다—끝 사용자가 AI인 인터넷.”이라고 썼다.

부터린은 웬의 프로젝트와 그 배경 논리에 동의하지 않았으며, “형, 이건 잘못됐어.”라고 시작했다.

왜 부테린은 웬의 ‘Web 4’에 반대하는가?

부테린에게 두드러진 주요 우려는 프로젝트의 주권 주장이었습니다. 부테린은 ‘더 오토메이톤’이 오픈AI와 앤트로픽이 제공하는 인프라에서 실행된다고 지적했습니다.

이더리움 공동 창립자는 이것이 자기 주권적 프레임워크를 부정확하고 역효과를 내는 것으로 만든다고 주장했습니다. 부테린은 “실제로 중앙화된 신뢰 가정들을 구석에 몰아두고 무시할 수 있다는 사고방식을 영속화하고 있습니다. 바로 이 사고방식이 이더리움이 전쟁을 치르고 있는 대상입니다.”라고 썼습니다.

부테린에게 분산형 AI의 선봉에 서 있다고 주장하면서도 빅테크의 서버를 통해 라우팅하는 프로젝트는 덮어야 할 모순이 아니라, 바로 그 문제 전체입니다.

부테린이 제기한 또 다른 이의는 AI와 결과물 사이의 피드백 루프에서 인간을 제거하는 것이었습니다. 그에 따르면, “인간과 AI 사이의 피드백 거리가 길어지는 것은 세계에 좋은 일이 아닙니다.”

Cryptopolitan 은 Anthropic의 Claude Opus 4.6 모델이 부분적으로 작성한 코드로 인한 오류로 DeFi 대출 프로토콜 Moonwell이 178만 달러를 잃은, AI 생성 Solidity 코드와 직접적으로 연결된 최초의 주요 DeFi 해킹 중 하나를 보도했다.

부테린은 시길(Sigil)이 사람들에게 유용한 문제를 해결하는 대신 쓰레기(slop)를 생성하고 있다고 더 밝혔습니다. 또한 이 프로젝트는 사람들이 재미를 느끼는 데 잘 최적화되어 있지 않다고 덧붙였습니다.

“AI가 진정으로 위험할 정도로 강력해지면, 당신도 깊이 후회할 irreversible(되돌릴 수 없는) 반인간적 결과의 위험을 극대화하게 됩니다,”라고 부테린은 썼습니다.

부테린은 다른 블록체인 인접 분야에 대해

부테린의 웹 4.0 비판 은 고립된 개입이 아닙니다. 그는 블록체인 관련 기술의 기업적 장악이 사회적 미디어와 예측 시장, 그리고 이제는 인공지능(AI) 영역에 이르기까지 확장되고 있다고 보며 이에 대해 점점 더 목소리를 높이고 있습니다.

Web 4.0 게시글 5일 전, 부테린은 X에서의 긴 게시글에서 예측 시장이 그가 “기업용 쓰레기(corposlop)”라고 부르는 방향으로 기울어지고 있다고 경고했습니다.

그는 예측 시장이 어느 정도의 성공을 거두었음을 인정했지만, 그의 우려는 그가 “비건전한 제품-시장 적합성으로의 과도한 수렴”이라고 부르는 것, 즉 “단기적인 암호화폐 가격 베팅, 스포츠 베팅, 도파민 가치는 있지만 장기적인 만족감이나 사회적 정보 가치는 없는 기타 유사한 것들”을 수용하는 것과 관련이 있습니다.

“제 추측에는 팀들이 이러한 것들로 수익을 창출할 동기를 느끼는 것이, 사람들이 절박한 상태인 불장 동안 큰 수익을 가져다주기 때문일 것입니다.”라고 부테린은 썼으며, 빌더들에게 “다음 세대의 금융을 구축하십시오, 기업용 쓰레기(corposlop)가 아닌”라고 독려하며 글을 마무리했습니다.

2025년 1월, 부테린은 “잘못된 AI는 새로운 형태의 독립적 자기 복제 지능형 생명체를 만들고 있다”며, 인간 역량 강화에 상응하는 도구 없이 이러한 시스템을 구축하는 것이 “영구적인 인간의 역량 박탈(disempowerment)”으로 이어질 위험이 있다고 경고했습니다.

그가 주장한 대안은 “올바르게 구현된 AI, 인간 마음을 위한 메카 슈트”였습니다. 그의 해석에 따르면 Web4.ai는 바로 그릇된 종류의 것입니다.

부테린의 Web 4.0에 대한 마지막 주장은 “지수적 성장은 우리가 무엇을 하든 상관없이 일어날 것입니다. 바로 이것이 이 시대의 주요 과제가 지수적 성장을 더 빠르게 만드는 것이 아니라, 그 방향을 선택하고 undesirable attractors(원치 않는 끌개)로의 붕괴를 피하는 것인 이유입니다.”라고 읽혔습니다.

그는 이더리움의 목적은 사람들을 자유롭게 하는 것이지, 인간의 상황이 변하지 않거나 악화되는 동안 스스로 자유롭게 작동하는 무언가를 만드는 것이 아니라고 덧붙였습니다.