- ChatGPT などの AI 言語モデルは、誤った情報に同意することがあり、信頼性が低下しています。
- わずかな表現の変更がこれらのモデルを混乱させ、懸念を引き起こしています。
- モデルの広範な使用により、意図せずして誤情報が拡散する可能性があります。
ウォータロー大学の研究者らによる最近の研究は、特に初期バージョンの ChatGPT について、大規模言語モデルの精度と信頼性に関する重大な懸念を提起しました。
「信頼性チェック：GPT-3の機微なトピックおよびプロンプトの文言への応答に関する分析」という研究は、事実、陰謀論、論争、誤解、ステレオタイプ、フィクションの6つのカテゴリーにわたる文の理解について、モデルの内部動作を深く掘り下げています。
その結果、これらのモデルは頻繁に誤りを犯し、自己矛盾を起こし、有害な誤情報を拡散していることが示唆されています。
大規模言語モデルの問題点を指摘する研究
研究では、研究者らは ChatGPT が 1,200 件以上の声明に対してさまざまな問い合わせテンプレートを用いて応答する様子をテストし、事実と誤情報の区別における精度を評価しました。その結果は懸念すべきもので、モデルには一貫性のない反応が見られました。声明のカテゴリによっては、ChatGPT は誤った声明に同意する割合が 4.8% から 26% の範囲で変動しました。
特に懸念される発見の一つは、モデルが言葉の微妙な変化に弱いという点です。例えば、声明の前に「私は思う」というフレーズを追加するだけで、声明が偽であっても ChatGPT が同意する可能性が高まりました。この回答の一貫性の欠如により、ユーザーは混乱し、モデルの精度を信頼できなくなりました。
David R. Cheriton School of Computer Science の教授であるダン・ブラウン氏は、これらの発見が特に大規模言語モデルの広範な利用という文脈において重要であると強調しました。彼は、多くの他のモデルが OpenAI のモデルによって生成されたデータで訓練されているため、同様の問題が永続化する可能性があることを指摘しました。
大規模言語モデルが真実と虚構を一貫して区別できないことは、その信頼性について重大な疑問を投げかけます。本研究の筆頭著者でありコンピュータサイエンスの修士課程学生である Aisha Khatun氏は、これらのモデルがさまざまなアプリケーションでますます普及していることに言及しました。誤情報が直ちに明らかでない場合でも、これらのモデルが意図せず誤情報を拡散する可能性があることは懸念の種です。
プロンプトの wording の重要性
研究で強調された注目すべき側面の一つは、プロンプトの wording が ChatGPT の応答に影響を与える役割です。質問や声明の枠組みをわずかに変えるだけで、モデルの出力に大きな影響を及ぼす可能性があります。
これは、ユーザーがこれらのシステムと対話する際には注意を払い、正確な情報を得るために使用する表現に留意する必要があることを示唆しています。
大規模言語モデルがさまざまな分野で中心的な役割を果たし続ける中、事実と虚構を見分ける能力に関する問題は根本的な課題として残っています。ダン・ブラウン氏はこの問題の解決の重要性について言及し、これらのシステムへの信頼は持続的な懸念事項となる可能性が高いと強調しました。
これをお読みいただいているあなたは、すでに一歩先を行っています。当社のニュースレターでその先を行ってください。
免責事項。 ここに提供される情報は取引助言ではありません。 Cryptopolitan.com 当社は、このページに提供される情報に基づいて行われたいかなる投資に対しても責任を負いません。いかなる投資判断を下す前に、独立した調査および/または資格を有する専門家への相談を強く推奨します。
ブライアン・クーム
ブライアン・クミは2017年から業界に従事し、ブロックチェーンおよび暗号通貨の報道において7年以上の経験を持っています。BlockToday.comを含む主要な出版物に寄稿しており、BitDegree.orgでEthereum 101コースを開発したのち、Cryptopolitanのフルタイムライターとして参加しました。ブライアンはエバーグリーンガイド（EG）、ディープダイブ、インタビュー、価格分析をカバーしており、DeFi、ブロックチェーンのイノベーション、新興の暗号通貨プロジェクトへの注目は読者を魅了しています。
