- Cloudflareは今後、デフォルトでAIクローラーをブロックし、ウェブサイト所有者が自社のコンテンツへのアクセスや利用方法をより細かく制御できるようにします。
- この動きにより、「Pay per Crawl（課金型クロール）」マーケットプレイスが導入され、AI企業はデータにアクセスするためにパブリッシャーに対して補償を支払う必要があります。
- OpenAIなどのAIボットが広範なコンテンツをスクレイピングしながらも、ほとんどトラフィックを戻していないことを受け、主要なパブリッシャーはこの方針転換を支持しています。
世界中のウェブトラフィックの約20%をルーティングするインターネットインフラストラクチャ会社であるCloudflareは、人工知能（AI）クローラーをデフォルトでブロックし始めると発表しました。
火曜日に発効するこの変更は、パブリッシャーが自らのデータに対するより多くのコントロールと補償を求めて圧力をかけた後、AI会社がウェブ上でホストされているコンテンツにアクセスを許可される方法を changing します。
コンテンツデリバリーネットワーク（CDN）は、ウェブサイトがデータをキャッシュし、ユーザーの近くに提供することを支援します。この新しいポリシーにより、Cloudflareサービスに登録する新しいドメインは、いつ、かつどの時点で AIボット がコンテンツにアクセスできるかを選択するか、スクレイパーを完全にブロックするかを選択するように促されます。
Cloudflare、AIアクセス制御ツールをリリース
この変更は、パブリッシャーにデータに対するより多くのコントロールを提供するCloudflareの以前のイニシアチブに追加されます。昨年、同社は既知のすべてのAIボットをブロックするためのワンクリックソリューションと、クローラーアクティビティを監視するためのダッシュボードを導入しました。サイト所有者は、AIトレーニング、検索目的、またはその他の用途のためにデータをスクレイピングするクローラーを区別するためにこのツールを使用します。
火曜日の発表は、これらの保護を公式化し、デフォルトで適用します。「AIクローラーは制限なくコンテンツをスクレイピングしてきました。私たちの目標は、AI会社が革新を続けるのを助けながら、権限をクリエイターの手元に戻すことです」と、CloudflareのCEOマシュー・プリンスは本日発表された声明で述べました。
会社の記録によると、このイニシアチブの基盤であるCloudflareの「Pay per Crawl」システムは、AI企業とコンテンツ所有者がアクセスごとに補償について合意できるマーケットプレイスです。
両当事者はCloudflareアカウントを持っている必要があり、セットアップが完了すると、ウェブクローリング活動の価格と条件を交渉できます。Cloudflareは取引仲介者として機能し、AI企業から料金を徴収し、収益をパブリッシャーに渡します。
AI開発者、限られたウェブサイトアクセスに嘆く
複数のAI開発者、 は、ChatGPTの無料プランの視聴者を週10億人以上のアクティブユーザーと見積もっており、広告モデルが無料版の運営を支えています。を含むMicrosoft支援の人工知能企業であるChatGPTの開発元は、プログラムへの参加を拒否しました。最近の公開声明で、同社はCloudflareを非難し、パブリッシャーとAI開発者の間に新たな仲介者を挿入したと批判しました。
OpenAIは、robots.txtプロトコルを尊重する歴史を持っていると述べました。これは、ウェブサイト運営者がクローラーアクセスを制御できるファイルです。同社は、サイトの設定を尊重していると主張しました。
6月の分析で、Cloudflareはスクレイピング頻度とトラフィック紹介の間にギャップがあることを発見したと主張しています。例えば、Googleのクローラーは、1回の訪問ごとに14回ウェブサイトにアクセスしました。一方、OpenAIのボットは、1回の紹介ごとに17,000回サイトをスクレイピングしました。
イギリスの技術弁護士であるマシュー・ホルマンは、CNBCに対し、AIクローラーは侵入的で、ユーザー体験に潜在的に有害であると語りました。
“彼らはウェブサイトを過負荷にし、ユーザー体験に重大な影響を与えたとして非難されています」彼は はホルマン氏は、Cloudflareのシステムが意図通りに機能すれば、AIチャットボットが大規模なウェブデータを収集して学習する能力を弱める可能性があると考えています。
出版業者がCloudflareを支持
主要なメディア企業は、デジタルコンテンツに対するコントロールを取り戻そうとするCloudflareの取り組みを支持しています。TIME、The Associated Press、Conde Nast、The Atlantic、ADWEEK、Fortuneなどの出版業者は、すべてAIボットをデフォルトでブロックすることに同意しました。
メディア各社は、Googleなどのプラットフォームからのデータスクレイピングを受け入れており、その見返りとしてトラフィックや広告収入を得てきました。しかし、現在のAI駆動型エコシステムにはそのような相互利益はありません。多くの場合、AIプラットフォームである ChatGPT やClaudeは、オリジナルのソースに対して意味のあるエンゲージメントや収益を提供することなくコンテンツを消費しています。
Cloudflareは、アクセスを許可されたいAIクローラーの正体、目的、クローリング行動を開示するよう、開発者との協力を続けていくと述べています。
「オリジナルコンテンツこそが、インターネットを過去100年で最も優れた発明の一つにしているのです」とCEOのMatthew Prince氏は述べています。「私たちはそれを保護するために結束しなければなりません。」
暗号通貨のニュースを読むだけでなく、それを理解しましょう。ニュースレターに登録してください。無料です。
免責事項。 ここに提供される情報は取引助言ではありません。 Cryptopolitan.com 当社は、このページに提供される情報に基づいて行われたいかなる投資に対しても責任を負いません。いかなる投資判断を下す前に、独立した調査および/または資格を有する専門家への相談を強く推奨します。
Florence Muchai
フローレンスは過去6年間、暗号資産、ゲーム、テクノロジー、AIに関するニュースを報道してきました。メルウ科学技術大学でのコンピュータ学およびMMUSTでの災害管理と国際外交の学習により、言語能力、観察力、技術スキルを十分に備えています。フローレンスはVAPグループで勤務し、複数の暗号資産メディアハウスで編集者として活躍しました。
