Press Gazetteが行った分析によると、英語圏のニュースサイト上位100サイトのうち、かなりの割合がAIウェブクローラーによるコンテンツへのアクセスをブロックする対策を講じていることが明らかになった。調査対象となった106サイトのうち、45サイトはAIクローラーを全くブロックしておらず、残りのサイトは程度の差こそあれ制限を設けていた。
主要ニュースサイトにおけるAIクローラーブロックの傾向に関する考察
調査対象となったニュースサイトのうち、10サイト中4サイト以上が、あらゆるAIウェブクローラーによるコンテンツのスクレイピングを制限なく許可している。しかし、61サイトというかなりの割合のサイトは、少なくとも1つのAIボットをブロックすることで制限を設けている。特に注目すべきは、32サイトがさらに一歩進んで2つ以上のAIクローラーをブロックしており、中には最大5つをブロックしているサイトもあることだ。.
ブロックされたAIクローラーのリストのトップは、OpenAIが開発したChatGPTに関連付けられたウェブクローラーであるGPTBotです。調査対象となったウェブサイトの実に56.6%がGPTBotへのアクセスを拒否しています。それに僅差で続くのは、GoogleのAIチャットボットGemini（旧称Bard）が利用する、もう一つの頻繁にブロックされるクローラーであるGoogle-Extendedです。.
さらに、Claude-Web、Claudebot、anthropic-ai、Cohere-ai、Perplexity-ai、Seekr、Meltwaterなどのクローラーは、調査対象のウェブサイト全体で様々な程度の制限を受けている。.
注目すべき除外項目と包含項目
大手出版社の中には特定のAIボットをブロックするところもある一方で、一切制限を設けないところもある。例えば、Mirror、Express、Manchester Evening News、Ladbible、Unilad、そしてLebedev氏が所有するdent とEvening Standard傘下の出版物は、AIクローラーによる無制限のアクセスを許可している。.
同様に、アクセル・シュプリンガーの子会社であるポリティコは、OpenAIとのコンテンツ共有契約に基づき、AIクローラーへのアクセスを許可している。.
驚くべきことに、IAC傘下のデイリー・ビーストは、同社の会長がAI企業による出版社への補償を提唱しているにもかかわらず、AIボットを一切ブロックしない方針をとっている。一方、GBニュース、ニューズマックス、ゼロヘッジ、ブライトバート、フォックスニュースといった政治的に保守的なウェブサイトの中には、マードック傘下の他のメディアとは異なり、AIクローラーをブロックしないという選択をしているところもある。.
意味と将来の見通し
ニュース出版社がAIクローラーのアクセスに関して採用するアプローチの多様性は、デジタル時代におけるコンテンツ利用と知的財産権をめぐる継続的な議論を反映している。一部の出版社は、不正利用を防ぎ、配信を管理するためにコンテンツを厳格に管理することを選択する一方、コンテンツの普及と革新のために、AI企業との連携やアクセス性を優先する出版社もある。.
状況が変化し続ける中で、出版社、AI企業、規制当局が、テクノロジー、コンテンツ所有権、ユーザープライバシーという複雑な交錯点をどのように乗り越えていくのかは、今後の展開を見守る必要がある。.
ニュース出版社がAIクローラーのアクセスに関して下す決定は、ニュースの配信に影響を与えるだけでなく、デジタルコンテンツの利用や知的財産権をめぐるより広範な議論にも影響を与える。.
