검색 결과에서 인공지능 콘텐츠의 급증이라는 우려스러운 현상

구글이 챗봇을 이용해 템플릿을 만드는 AI 개발업체인 풀루미 AI가 생성한 부실한 인프라 코드 결과물을 색인화하면서, 이러한 인공적인 개체들이 구글 검색 결과 상단에 나타나는 것을 목격했습니다 .

AI 콘텐츠의 부상

'풀루미'는 '사용자가 입력한 질문에 대한 결과를 AI 답변 하위 사이트에 표시'하는 서비스를 제공합니다. 하지만 이러한 로봇 답변은 종종 부정확하기 때문에 구글 검색 엔진 순위 크롤러에 의해 색인화됩니다.

아리안 반 푸텐은 주말 동안 소셜 미디어 게시물에서 개발자들의 말을 인용하며 "드디어 일어났습니다"라고 전했습니다. 구글 검색 결과 첫 번째로 나오는 것은 LLM 콘텐츠로 가득 찬 공식 풀루미 매뉴얼인데, 이 매뉴얼에는 LLM이 생성한 콘텐츠가 존재하지 않는 AWS 기능을 허구로 만들어낼 것이라는 경고 문구가 포함되어 있습니다.

2022년 등록기관에서 지적했듯이, AI 생성 콘텐츠는 이미 존재해 왔으며 그 품질에 대한 의문이 제기되고 있습니다. AI 생성 콘텐츠는 검색 엔진에 의해 더 빠르게 색인화되어 검색 결과에서 최상위에 표시됩니다. 

Pulumi AI와 AI Answers 저장소의 기능 및 콘텐츠를 지원하는 온라인 응답은 설계 방식을 보여주는 또 다른 데이터 유형입니다. Pulumi와 같은 도구를 통해 구현된 코드형 인프라는 AI의 결과를 생성하고, Google 검색 크롤러는 이를 색인화하여 사용자가 검색 시 사람이 작성한 웹사이트 콘텐츠 링크와 함께 표시합니다. AI 시스템이 생성한 이러한 문서와 코드 조각은 다른 개발자들이 많은 시스템이 부정확하거나 심지어 작동하지 않는 결과를 생성했음을 발견하는 데 도움이 되었습니다.

검색 순위 관련 문제

이 문제는 2024년 3월 21일에 발생했으며, Pete Nykänen이 이를 발견하고 Pulumi AI 전용 GitHub 이슈 스레드에 게시했습니다 . "최근 구글에서 인프라 관련 키워드를 검색하던 중 이상한 현상을 발견했습니다. Pulumi AI의 답변이 해당 질문에 대한 실제 검색 결과와 관계없이 구글 검색 결과 페이지에서 최상위에 표시되는 것입니다. 이러한 현상은 여러 검색어에서도 동일하게 나타나므로 시간이 지날수록 더욱 악화될 것으로 예상됩니다." Nicky는 The Register와의 이메일에서 Pulumi AI 검색 관련 문제를 발견하기 시작했다고 밝혔습니다.

CEO는 "우리 엔지니어들은 온라인에서 답을 찾는 데 많은 시간을 보내는데, 밤에 풀루미나 인공지능 자체와는 전혀 관련 없는 키워드로 검색했을 때에도 AI가 검색 결과 상단에 나타나는 것을 그냥 지나칠 수 없었습니다."라고 지적했습니다 

니카넨은 현재 AI가 검색 결과에서 최상위권을 차지하고 있다고 주장했습니다. 더 많은 기업들이 콘텐츠 생성 프로그램을 개발함에 따라, 실제 업무에 AI 전문가가 참여하는 것은 중요해졌으며, 이는 웹의 신뢰성에 부정적인 영향을 미칠 수 있습니다. 

문서 작성에서 AI가 수행한 또 다른 역할은 AI 답변이 서비스 사용에 관한 주제의 절반 이상(거의 3분의 2)을 다루었음에도 불구하고, 풀루미의 AI 엔지니어인 아론 프리엘이 새로운 AI 답변 제공을 중단할 것이라고 제안했다는 점입니다. 

품질 검증

프리엘은 API 페이지가 풀루미가 업스트림과 관련된 실제 사례나 문서를 다루는 또 다른 이니셔티브라고 언급했습니다. 구글은 한 달이 지난 후에도 이 사실을 인지하지 못한 채 출력 코드를 테스트하고 할 일 목록에 추가했습니다. 월요일에 The Register에서 "AWS Light Sail X-ray"를 검색 키워드로 사용했을 때, 풀루미 AI가 거의 두 번째 검색 결과를 보여주었습니다. 그런데 다음 주 화요일에 같은 키워드를 검색 엔진에 입력했을 때, 놀랍게도 공식 AWS 문서보다도 높은 1위를 차지했습니다.

그들은 구글 의 생각을 캐물었고, 구글 관계자는 "회사는 항상 최고 품질의 정보를 제공하기 위해 노력하고 있지만, 검색어 목록의 일부 세부 주제에 대해서는 웹상에서 1위를 차지할 만한 고품질 콘텐츠가 없을 수도 있다"고 말했다.

검색 대기업은 또한 "검색 순위를 높이기 위해 대량으로 생산되는 저품질 콘텐츠는 스팸으로 간주된다"는 사실에 기반하여 정책을 수립했으며, 최근 개선된 기술은 검색 결과에서 이러한 독창성이 부족하거나 전혀 도움이 되지 않는 콘텐츠의 45%를 차단하는 것을 목표로 한다고 밝혔습니다.

마이크로소프트의 검색 엔진 빙(Bing)은 이와 동일한 검색어에 대해 위키피디아 페이지의 예시를 내부적으로 찾아냈습니다. 빙 검색 엔진이 생성한 AI 콘텐츠 자체에는 문제가 없었지만, 검색 결과에는 사용자가 함정에 빠져 버튼을 클릭할 경우 채팅창이 나타나는 기능이 포함되어 있었습니다. 브레이브 어게인스트(Brave Against) 역시 풀루미(Pulumi) AI의 답변을 검색 결과에서 제외했습니다. 

DuckDuckGo에 따르면, Pulumi AI는 '인공지능 제품 구성 요소'라는 검색어에 대한 검색 결과 페이지(SERP)에서 네 번째로 나타났습니다. 더피는 Pulumi의 코드 품질이 시간이 지남에 따라 테스트를 거쳐 개선되었다고 밝혔습니다. 또한, 분기별로 코드 예제의 성공률이 두 자릿수 증가를 기록했다고 덧붙였습니다.