- OpenAI는 웹사이트 관리자를 위한 프라이버시 제어 기능을 갖춘 GPTBot 웹 크롤러를 소개합니다.
- GPTBot은 데이터 프라이버시와 정확성을 보호하기 위한 사전 예방적 옵트아웃 조치를 가능하게 합니다.
- 향상된 데이터 프라이버시를 통한 OpenAI의 책임 있는 AI 발전에 대한 약속.
OpenAI는 AI 모델용 데이터를 수집하기 위해 설계된 전용 웹 크롤러인 GPTBot을 조용히 출시했습니다. 그러나 웹사이트 관리자들은 이제 크롤러가 정보를 수집하는 것을 방지할 수 있습니다. 이 조치는 OpenAI의 AI 모델에서 데이터 프라이버시와 정확성을 향상시키는 것을 목표로 합니다. 회사는 온라인 문서에 크롤링 프로세스에서 옵트아웃(opt-out)하는 방법을 위한 지침을 추가했지만, 아직 공식 발표는 이루어지지 않았습니다.
OpenAI의 GPTBot은 사용자 에이전트 문자열에서 사용자 에이전트 토큰 ‘GPTBot’으로 식별할 수 있습니다. 크롤러가 웹사이트의 특정 부분에 접근하는 것을 방지하려면 관리자는 이를 사이트의 robots.txt 파일에 추가할 수 있으며, 이는 Googlebot이 특정 영역에서 제한되는 방식과 유사합니다. OpenAI는 또한 크롤러가 사용하는 IP 주소 블록을 공개하여 관리자가 해당 주소에서 직접 접근을 차단할 수 있도록 했습니다.
적극적인 옵트아웃 조치 필요
GPTBot이 사이트를 크롤링하는 것을 방지하려면 웹사이트 관리자가 이를 robots.txt 파일에 적극적으로 추가해야 합니다. 그렇지 않으면 명시적으로 차단하지 않는 한 수집된 데이터가 향후 AI 모델에 사용될 수 있습니다. 이 접근 방식은 웹사이트 소유자가 자신의 데이터를 제어하고 OpenAI의 접근을 제한할 수 있게 합니다.
일부에서는 OpenAI의 조치가 잠재적인 스크래핑 규제에 대비하거나 향후 조치에 대응하기 위한 것일 수 있다고 추측하지만, 이전에 수집된 데이터가 조사 대상에서 제외될지 여부는 불확실합니다. 2023년 3월 출시된 OpenAI의 GPT-4는 2021년 9월까지 수집된 데이터를 기반으로 하며, 이는 규제 당국의 주목을 받을 수 있습니다.
응답 최적화 및 데이터 정확성 보장
GPTBot을 감지하는 능력은 웹사이트 소유자에게 접근 차단을 넘어선 기회를 제공합니다. 하나의 제안은 크롤러가 식별된 후 OpenAI에 다른 응답을 제공하는 것입니다. 이 접근 방식은 관리자가 의도적인 오정보를 도입하여 훈련 데이터 세트의 정확성에 영향을 미칠 수 있게 합니다.
OpenAI는 GPTBot을 사용하여 AI 모델을 정제하고 정확성, 기능 및 안전성을 향상시킬 예정입니다. GPT-3.5 및 GPT-4와 같은 대규모 언어 모델은 광범위한 훈련 데이터 세트에 의존하므로, GPTBot과 같은 웹 크롤러는 사용자 쿼리에 대한 정확한 응답을 가능하게 하기 위한 데이터 수집의 필수 도구가 됩니다.
데이터 수집에서 웹 크롤러의 역할
GPTBot과 같은 웹 크롤러는 인터넷을 체계적으로 탐색하여 검색 엔진 인덱싱 및 웹 페이지 아카이빙을 포함한 다양한 목적으로 데이터를 수집합니다. 웹사이트 소유자는 robots.txt 파일의 지침을 따름으로써 사이트의 어떤 영역을 크롤링할 수 있는지 지정하여 민감하거나 개인적인 데이터를 보호할 수 있습니다.
OpenAI의 이전 데이터 세트 사용 및 GPTBot의 목적
OpenAI는 이전에 Common Crawl을 포함한 데이터 세트를 사용하여 AI 모델을 훈련했습니다. 그러나 GPTBot은 OpenAI의 모델용 데이터를 특별히 수집하기 위해 설계된 전용 크롤러입니다. 그 목적은 AI 생성 응답의 정확성과 안전성을 개선하는 데 있습니다.
OpenAI의 전용 웹 크롤러인 GPTBot 도입은 웹사이트 관리자에게 프라이버시 제어라는 추가 이점을 제공합니다. OpenAI는 웹사이트 소유자가 데이터 수집에서 옵트아웃할 수 있도록 함으로써 AI 모델의 데이터 프라이버시와 정확성을 개선하고자 합니다. 회사의 동기에 대한 추측은 계속되고 있지만, 이 조치는 OpenAI가 AI 기능을 책임감 있게 발전시키겠다는 의지를 나타냅니다. 이제 웹사이트 관리자는 GPTBot의 접근을 지시할 수 있는 권한을 부여받아 자신의 데이터를 더 잘 제어하고 AI 생성 응답의 정확성을 보장할 수 있습니다.
이 글을 읽고 계신다면, 이미 앞서 나가고 있습니다. 뉴스레터로 그 위치를 유지하세요.
면책 조항. 제공된 정보는 투자 조언이 아닙니다. Cryptopolitan.com 본 페이지에 제공된 정보를 바탕으로 이루어진 투자에 대해 어떠한 책임도 지지 않습니다. 투자 결정을 내리기 전에 반드시 독립적인 조사나 자격을 갖춘 전문가의 상담을 강력히 권장합니다.
존 팰머
John Murangiri는 시장 분석 기술을 갖춘 채 Cryptopolitan에 합류했습니다. John(별명 JP)은 나이로비 대학교에서 대중 매체 및 미디어 연구 학사 학위를 취득했으며, 이전에는 InsideBitcoins.com과 Metacoingraph에 암호화폐 시장 인사이트를 기여한 바 있습니다.
