AI検出器はまだ効果的ですか？

ChatGPTのようなAIツールの登場以来、「AI」という用語は教育からコンテンツ作成に至るまで、さまざまな業界で流行語になっている。ライターや学生は、AIか人間かに関わらず、自分の作品を守るという新たな課題に直面している。 

統計によると Stastia による統計によると、昨年、2023年7月に「AI」という用語は3,040万回以上検索され、その前の月の3倍だった。AIが より普及するにつれて、 教師や編集者は、提示されたテキストがAIか否かを判断するための代替方法を見つける必要があった。これにより、AI検出器の台頭につながった。

しかし、多くのライターや教育者はAIの真正性を疑問視している。その一人がTrustInsights.aiの共同創設者であるChristoper Penであり、彼はLinkedInの 投稿 が 「AI で「検出器」は冗談だと述べた。 PenはAI検出器が信頼できないと考えている唯一の人物ではない。SEOコンテンツスペシャリストのDianna Masonは、 述べた の投稿で「AIコンテンツ検出器は機能しない」と述べた。

Redditの別の投稿によると、あるユーザーは「はい、AI検出器は詐欺です。AI検出器が確実に機能することを証明した学術論文はこれまで存在しません。また、信頼性の高いAI検出器がどのように機能するかについての有望な理論的枠組みもありません。

AI検出器の非効率性を示す多くの公に知られた例がある。例えば、ある検出器は米独立宣言の97.75%をAI作成と誤識別した。 

別の例では、聖書のテキストがAI作成であると発見された。ヒンドゥー教の聖典であるバガヴァッド・ギーターもAIによって誤識別された。このような出来事は、AI検出器の信頼性について非常に深刻な疑問を提起する。

AI検出器の有効性をさらに調査するために、私たちは聖書の抜粋を4つの異なる検出器でテストした。結果はかなり異なった

• Quilbott- このサイトによると、使用された抜粋はAI生成ではなく、おそらく0%でした。
• Grammaly- Grammalyもまた、このテキストが100%人間によって書かれたものと特定しました。
• Gpt Zero- このサイトは、このテキストが人間によって書かれたものである確率を96%と判定しました。
• Zero Gpt- これが私がテストした最後のサイトでしたが、結果は非常に驚くべきものでした。サイトによると、このテキストは96%がAIによって書かれたものでした。

AI検出器の仕組み

AI検出器、またはGPT検出器は、AIによって生成されたコンテンツを識別するために設計されたシステムです。これらの検出器は、LLM（大規模言語モデル）がテキストに対して行うのと同様に、パターンや単語の配置という観点からテキストを比較します。LLMはデータから推測される確率に基づいて動作し、単語のシーケンス検出のみを基に予測を行います。AI検出器は、これらの確率を利用してAIコンテンツを検出します。 

AI検出器は主に、パープレキシティ（予測不可能性）とバースティネス（突発性）という2つの指標を使用します。パープレキシティは、次の単語が正しい確率を測定するものであり、バースティネスは単語数やフレーズの数の変動性を示します。人間の文章は多様性を示す傾向があるのに対し、AIが生成したテキストは均一になりがちです。しかし、GPT-4のようなAIモデルの進歩により、AIはより高い熟練度で人間の文章を模倣できるようになり、検出がさらに困難になっています。 

Coachvoxの創設者であるJodie Cookによると、「現在、私たちはAI生成のLinkedInコメントを笑っています。しかし、技術が改善されるにつれて、何が真実で何がそうでないかを見分けることはできなくなります。誰も見分けられません。

ライター、学生、ビジネスにとって、その stakes（リスク）は高いものです。ここで問われるのは、AI検出器を信頼できるのかということです。