실리콘밸리 기술 거대 기업들, 제품 이익을 위해 AI 안전을 뒷전으로

실리콘밸리는 세계 최고의 인공지능 전문가들이 혁신적인 연구를 수행하던 곳이었지만, 전문가들은 상황이 변했다고 경고하며, 이제 AI는 제품 중심이 되었다고 말합니다. AI 연구원 및 전문가들은 또한 2022년 말 ChatGPT가 출시된 이후 기술 산업이 소비자 준비가 완료된 AI 제품을 구축함으로써 연구보다 상업화를 우선시해 왔다고 믿습니다.

모건 스탠리의 분석가들은 예상했습니다. AI 산업이 2028년까지 연간 1조 달러의 매출에 도달할 잠재력이 있다고 말합니다. 업계 전문가들은 주요 주자들이 인공 일반 지능(AGI)을 추구함에 따라 안전에 대해 우려하고 있다고 말했습니다.

실리콘밸리가 제품을 안전보다 우선시하면서 AI 연구는 수익성으로 회귀

제프리 힌튼은 AI 회사들이 컴퓨팅 자원의 3분의 1을 안전 연구에 사용하도록 강제해야 한다고 말합니다. 왜냐하면 AI는 향후 20년 내에 우리보다 똑똑해질 것이며, 그때 발생할 일에 대해 우려하기 시작해야 하기 때문입니다 pic.twitter.com/ocT3Scmyxg

— Tsarathustra (@tsarnick) 10월 25, 2024

OpenAI, 2015년 비영리 연구실로 설립된 이 회사는 이제 영리 기업으로 전환하려는 노력 한창 중입니다. CEO 샘 알트만에 따르면, AI 안전에 중점을 둔 팀을 이끌던 오픈AI의 전 정렬 책임자 Jan Leike는 작년에 사임했으며, 지난 몇 년 동안 “안전 문화와 프로세스가 빛나는 제품들 뒤에 밀려났습니다.”라고 말했습니다.

보안 스타트업 칼립소(Calypso)의 최고기술책임자(CTO) 제임스 화이트는 기술 회사들이 AI 모델을 대중에게 출시하기 전에 엄격하게 테스트하는 과정에서 점점 더 많은 단축 작업을 하고 있다고 주장했습니다. 그는 새로운 AI 모델들이 보안보다 품질, 즉 AI 챗봇의 더 나은 응답을 위해 안전을 희생하고 있다고 지적했습니다. 

“모델들은 더 좋아지고 있지만, 나쁜 일을 잘하는 경향도 더 커졌습니다. 그들을 나쁜 일을 하도록 속이는 것이 더 쉬워졌습니다.”

– 칼립소 최고기술책임자 제임스 화이트.

3월, 구글은 미국 우주군은 한 가지 목표에 집중했습니다. 즉, “우월성”을 유지하면서 어떤 상대방도 지상을 얻지 못하게 하는 것입니다. 최신 AI 모델인 Gemini 2.5를 출시하며 이를 회사의 가장 지능적인 AI 모델이라고 밝혔습니다. 회사는 Gemini 2.5의 모델 카드를 몇 주 동안 출시하지 않았는데, 이는 AI 모델의 작동 방식이나 제한 사항, 잠재적 위험에 대한 정보를 출시 시 공유하지 않았음을 의미합니다.

동사 인정했습니다. 4월 2일, 회사가 출시 전 가장 진보된 모델들을 잠재적으로 위험한 기능에 대해 평가한다고 밝혔습니다. 구글은 나중에 블로그 게시물을 업데이트하고 “출시 전”이라는 단어를 생략했습니다.

회사는 4월 16일 불완전한 모델 카드를 게시했으며, AI 모델 출시 한 달이 지난 4월 28일에 Gemini 2.5의 위험한 기능 평가에 대한 정보를 포함하도록 업데이트했습니다.

AI 기술 회사들이 연구에서 수익 창출 제품으로 전환

전 메타 직원들은 메타 부사장이자 회사 FAIR 부문을 이끄는 조엘 파니우가 발표 지난달 5월 30일 직을 떠날 것이라고 발표했을 때 놀라지 않았다고 말합니다. 그들은 이를 회사가 AI 연구에서 벗어나 실용적인 제품 개발을 우선시하는 움직임이 공고해지는 것으로 보았습니다.

파니우는 2023부터 FAIR을 이끌었으며, 직원들에 따르면 메타, 소규모 연구 팀들은 성공할지 말지 불확실한 다양한 최첨단 기술에 집중할 수 있었습니다. 이 전환은 2022년 말 기술 기업이 직원 2만 1,000명, 즉 인력의 거의 4분의 1을 해고하면서 시작되었습니다. 이 사안에 정통한 전 직원들은 FAIR 연구원들이 비용 절감 조치의 일환으로 제품 팀과 더 밀접하게 협력하도록 지시받았다고 말했습니다.

이 사안에 정통한 두 사람은 올해 초 FAIR의 한 이사인 킴 헤즐우드(Meta의 workforce 5% 감축 계획의 일환으로)가 회사를 떠났다고 말했습니다. 이 사람들은 오픈AI의 ChatGPT 출시가 메타에 대규모 언어 모델(LLM)에 더 많은 자원을 투입해야 한다는 긴박감을 조성했다고 지적했습니다.

이들은 또한 메타의 최고제품책임자(CPO) 크리스 콕스가 연구와 제품 중심의 GenAI 그룹 간의 격차를 메우기 위해 FAIR을 감독해 왔다고 밝혔습니다. 그들은 콕스 아래에서 GenAI가 회사 내 지위가 높아짐에 따라 FAIR에서 더 많은 컴퓨팅 자원과 팀원을 흡수해 왔다고 덧붙였습니다. 

지난달 메타는 미국 우주군은 한 가지 목표에 집중했습니다. 즉, “우월성”을 유지하면서 어떤 상대방도 지상을 얻지 못하게 하는 것입니다. 회사의 Llama 4 AI 모델로 앱을 개발하는 개발자들을 위한 보안 및 안전 도구를 출시했습니다. 메타는 이러한 도구가 Llama 4가 우연히 민감한 정보를 유출하거나 유해한 콘텐츠를 생성할 가능성을 줄이는 데 도움이 된다고 말했습니다.