AIボットをブロックする価値があるか、それとも許可すべきか？

OpenAIがチャットボットChatGPTを立ち上げた際、GPTBotと呼ばれるウェブクローラーも公開しました。彼らのクローラーはGoogleボットと同じように機能し、ウェブサイト所有者はrobots.txtを通じてこれらのクローラーがウェブサイトにアクセスするのをブロックできます。OpenAIはボットのブロックへのアクセスも提供しました。Originality.AIによる研究によると、ウェブサイトの約48%がそのアクセスをブロックしているとされています。その後、Googleは検索ボットに影響を与えずにウェブマスターがAIツールをブロックできるようにするために、独自のGoogle-Extendedボットも発表しました。

AIボットをめぐる継続的な議論

ChatGPTの立ち上げ以来、一部のAIボットがサイトにアクセスするのをブロックするこの能力を活用する方法について、継続的な議論があります。SEO業界のプレイヤーやほぼすべてのオンライン出版物の間で議論が persistent（持続的）であるため、すべての利害関係者を満足させる答えはありません。これは、これらのボットをブロックすることが実際的な影響を持つかどうかという二次的なトピックであり、多くのサービスが許可なくウェブをスキャンしているためです。

この考え方を支持する一つの理由は、OpenAIのクローラーがかなり遅れて発表されたことです。同社は、ウェブ上で広く入手可能であると称するデータソースとして、さまざまな手法を使用した可能性があります。懸念されるのは、企業が異なる名前やベンダーの下でボットを使用できるため、新しいものをブロックしても、すでに処理されたデータを取り戻せないことです。

これにより、スクレイパーサイトは、あなたのデータ、つまり人間が作成したコンテンツでトレーニングされたこれらのボットからコンテンツを大量に生成しやすくなりました。 

彼らはあなたのコンテンツを望んでいます

AI企業はコンテンツを必要としておらず、やがてあなたと同じレベルのコンテンツを生成できるようになるだろうと信じる人もいるかもしれませんが、これはコンテンツ中心のサイトにとって非常に懸念される問題です。また、私たちが知っているSEO対策の有効性と関連性についても疑問が投げかけられます。さらに、非常に同じコンテンツを生成するサイトが多数出現するという問題もあります。これらの点を考慮すると、一部の業界では大規模にAIボットをブロックする可能性があります。 

ChatGPTなどのボットへのアクセスを認めることを支持する専門家は、このサービスが検索エンジンとしてではなく、特にコード作成、翻訳、コンテンツ作成のためのアシスタントとして使用されるという点を根拠に挙げています。また、Bingの市場シェアはChatGPTが統合されて以来1%しか増加していないとも言っています。現在、Googleは自社のAIボットが別個のものであると述べていますが、Googleが将来検索結果にAIを統合していくため、将来どうなるかは不明です。

支持する人々はまた、チャットボットがコンテンツを書くことだけが問題なのではなく、彼らがあなたのブランド名に言及している場合、状況はあなたのブランドをより広い聴衆に露出させる機会も与えると述べています。また、アクセスをブロックすることで、将来のLLMのトレーニングにあなたの考えが含まれるのを防ぎます。しかし、将来、これらの同じモデルによってブランドや製品のクローンが生成され、最終的にディープフェイクの問題を増幅させる可能性が強くあります。

AIモデルがSEOおよびGoogleに及ぼす脅威は、まっすぐな競合としてのものではなく、大規模にコンテンツを作成するために使用されるツールとしてのものです。これは検索にとって disruptive（革新的/破壊的）であり、GoogleやBingに問題を引き起こし、既存の人間のコンテンツが消費していたトラフィックを消費することになります。したがって、最終的にボットを許可するかどうかの決定は、個人の優先順位を分析した後の、ブロガーや出版社としての個人の好みにかかっています。