GPTBotを含むAIウェブクローラーのブロックにより、データの利用可能性に影響

AIモデルを駆動するための正確なデータへの需要が高まるにつれて、インターネット上で激しい戦いが展開されています。企業はAIウェブクローラーからデータを保護するための措置を講じており、OpenAIのGPTBotとCommon CrawlのCCBotは増加する反対に直面しています。最近のデータによると、250以上の主要ウェブサイトがGPTBotをブロックしており、最も人気のあるウェブサイトの約14%もCCBotを禁止しており、AIトレーニングに必要な情報の利用可能性に影響を与えています。

AIウェブクローラーに対する戦いの拡大

データ駆動型の意思決定と人工知能が支配する時代において、ウェブクローリングボットは不可欠なツールであると同時に、大きな論争の源となっています。先月、OpenAIはGPTBotを導入しました。これは、数十年にわたるrobots.txtプロトコルを尊重するように設計されており、ウェブサイトがスクレイピングを避けたいという希望を示すことを可能にします。当初、トップ1,000のウェブサイトの約70社がGPTBotをブロックしており、AmazonやTumblrのようなインターネットの巨人も含まれていました。

Originality.aiの最近の調査結果は、状況の大きな変化を示しています。わずか3週間の間に、GPTBotをブロックする著名なウェブサイトの数は250以上へと急増しました。この包括的なリストには、Pinterest、Vimeo、GrubHub、Indeed、Apartments.com、The Guardian、Live Science、USA Today、NPR、CBS News、NBC News、CNBC、The New Yorker、People、そしてHearstとConde Nastが出版するすべてのタイトルが含まれています。さらにweather.comも、AIクローラーからコンテンツを保護する仲間入りしました。

データアクセスへの課題

このウェブクローラーブロックの波の背後にある動機は、OpenAIのGPT-4のような強力な生成AIモデルのトレーニングにおいて、正確なデータが果たす重要な役割にあります。これらのモデルは、インターネットからソースを取得した大量のテキストデータに大きく依存していますが、その大部分は著作権の対象であったり、特定のエンティティによって所有されていたりします。この慣行に対する認識は最近急増し、多くの法的紛争と新たな政府規制の可能性をもたらしました。

同時に、多くの企業がユーザー生成コンテンツとオンラインアクティビティを保護するための措置を講じています。利用規約とユーザーポリシーの更新を通じて、テクノロジー企業はAIプロジェクトやトレーニング目的のためにユーザーデータにアクセスして利用する権利を主張しています。このアプローチの変化は、データ保護と主権へのより広範な傾向を表しており、企業は特にAI駆動エンティティによってデータがどのように使用されるかを制御しようとしています。

CCBotもブロックの対象

GPTBotはOpenAIやGPT-4モデルとの関連性により注目を集めていますが、Common Crawlが使用する別のウェブクローラー、CCBotも独自の抵抗に直面しています。ヨーロッパに拠点を置く組織であるCommon Crawlは、長年にわたり、MetaのLlamaのような大規模言語モデルのトレーニングデータとして使用するために、著作権で保護されたコンテンツを含む膨大な量のウェブデータを蓄積し、整理してきました。

9月下旬時点でのOriginality.aiのデータによると、最も人気のある1,000のウェブサイトのほぼ14%がCCBotをブロックしています。このリストには、Amazon、Vimeo、Masterclass、Kelly Blue Book、The New York Times、The New Yorker、The Atlanticなどが含まれています。CCBotをブロックするウェブサイトの多くが、その制限をGPTBotにも拡張していることは注目に値し、所属に関係なくAIウェブクローラーからデータを保護する傾向が高まっていることを示しています。

データを保護しようとする企業と、トレーニング素材を追求するAIウェブクローラーとの間の戦いは、ますます激化しています。GPTBotやCCBotをブロックするウェブサイトが増加していることは、AI主導の世界におけるデータアクセスと制御の重要性が高まっていることを示しています。法的および規制上の監視が強まる中、データの活用とデータ保護のバランスは、企業とAI開発者の両方にとって重要な課題であり続けています。