AI企業が、クラウドフレアによるAIボットによるコンテンツスクレイピングのデフォルト禁止に抗議

全世界のウェブトラフィックの約20%のルーティングを担当するインターネットインフラ企業Cloudflareは、人工知能（AI）クローラーをデフォルトでブロックし始めると発表した。.

この変更は火曜日から発効し、出版社が自社データに対するさらなる管理と補償を要求したことを受けて、AI企業がウェブ上でホストされているコンテンツにアクセスする方法が変更される。.

コンテンツ配信ネットワーク（CDN）は、ウェブサイトがユーザーに近い場所でデータをキャッシュし、配信するのに役立ちます。この新しいポリシーにより、Cloudflareサービスに新規登録するドメインは、 AIボットが コンテンツにアクセスするタイミングと許可するかどうかを選択するか、スクレイパーを完全にブロックするかを選択できるようになります。

CloudflareがAIアクセスを制御するツールを発表

この変更は、Cloudflareがパブリッシャーにデータのコントロールを強化するためのこれまでの取り組みをさらに強化するものです。昨年、同社は既知のAIボットをすべてブロックするワンクリックソリューションと、クローラーのアクティビティを監視するダッシュボードを導入しました。サイト所有者はこのツールを使用することで、AIのトレーニング、検索、その他の目的でデータスクレイピングを行うクローラーを区別できます。.

火曜日の発表では、これらの保護措置が正式に定められ、デフォルトで適用されることになった。「AIクローラーはこれまで無制限にコンテンツを収集してきました。私たちの目標は、AI企業のイノベーションを支援しつつ、クリエイターに権限を取り戻すことです」と、CloudflareのCEOであるマシュー・プリンス氏は本日発表した声明で述べた。

同社の記録によると、この取り組みの基盤となっている Cloudflare の Pay per Crawl システムは、AI 企業とコンテンツ所有者がアクセスごとの報酬で合意できるマーケットプレイスです。. 

両当事者はCloudflareアカウントを保有する必要があり、アカウント設定後、ウェブクローリング活動の価格と条件を交渉できます。Cloudflareは取引の仲介役としてAI企業に料金を請求し、その収益をパブリッシャーに渡します。.

AI開発者はウェブサイトへのアクセス制限を嘆く

を含む複数のAI開発者が、 OpenAIこのプログラムへの参加を辞退した。OpenAIは最近の公式声明で、出版社とAI開発者の間に新たな仲介者を挟んだとしてCloudflareを激しく非難した。 

OpenAIは、ウェブサイト運営者がクローラーのアクセスを制御できるようにするファイルであるrobots.txtプロトコルを尊重してきた歴史があると述べ、サイトの設定を尊重すると主張した。.

Cloudflareは6月の分析で、スクレイピング頻度とトラフィックリファラの間にギャップがあることを発見したと主張している。例えば、Googleのクローラーは、1回の訪問につき14回ウェブサイトにアクセスしていた。一方、OpenAIのボットは、1回のリファラにつき17,000回ウェブサイトをスクレイピングしていた。. 

英国を拠点とするテクノロジー弁護士マシュー・ホルマン氏はCNBCに対し、AIクローラーは侵入的であり、ユーザーエクスペリエンスに悪影響を及ぼす可能性があると語った。. 

「彼らはウェブサイトに過負荷をかけ、ユーザーエクスペリエンスに重大な影響を与えていると非難されている」と彼は 述べた。ホルマン氏はさらに、Cloudflareのシステムが意図通りに機能すれば、AIチャットボットが大規模なウェブデータを収集して学習する能力を弱めることができると付け加えた。 

出版社がCloudflareを支持

大手メディア企業は、デジタルコンテンツのコントロールを取り戻すためのCloudflareの取り組みを支持しています。TIME誌、AP通信社、コンデナスト、アトランティック誌、ADWEEK誌、フォーチュン誌などの出版社は、AIボットをデフォルトでブロックすることに同意しました。. 

メディアは、トラフィックと広告収入と引き換えに、Googleなどのプラットフォームからのデータスクレイピングを受け入れてきました。しかし、現在のAI主導のエコシステムにはそのような相互関係がありません。多くのメディアにとって、 ChatGPT やClaudeのようなAIプラットフォームは、意味のあるエンゲージメントやオリジナルソースからの収益を伴わずにコンテンツを消費しています。

Cloudflareは、アクセスを許可することを希望するAIクローラーに対し、そのdent、目的、クロール行動を開示するよう働きかけるために、開発者と協力し続けると述べています。.

「オリジナルコンテンツこそが、インターネットを前世紀における偉大な発明の一つにしているのです」と、CEOのマシュー・プリンスは述べた。「私たちは、それを守るために団結しなければなりません。」