アップルはAI技術の欠陥に関するエンジニアの警告を無視した

報道によると、Apple は欠陥のある Apple Intelligence に関するエンジニアの警告を無視してこの技術をリリースし、市場の評価は芳しくなかったという。.

iPhoneメーカーのApple Intelligenceは誤った理由で注目を集め、特に偽情報をでっち上げ、ニュースの見出しを台無しにしたとして、幅広い批判を浴びた。.

エンジニアはApple Intelligenceを含む多くのモデルに欠陥を発見した

大規模な言語モデルが幻覚を起こすことはよくあることですが、これはAI業界が未だ解決していない、あるいはそもそも解決できていない課題です。Appleのケースは少し異なっていました。エンジニアたちは、リリース前にモデルの深刻な欠陥に気づいていました。しかし、Appleは警告を無視しました。.

について警告が出ていたにもかかわらず、このモデルを公開したことは、この巨大テクノロジー企業の無謀な行為だったという defi書によって示されたものだ 調査報告 昨年10月に発表された

この研究はまだ査読されていないものの、AI業界のトップレベルの法学修士課程の学生のmatic的「推論」をテストした結果、モデルは推論できないという結論も出ている。.

モデルのテストを行うため、エンジニアたちは、 GSM8Kデータセット業界のベンチマークとして

Futurismによると、データセットから得られる典型的な質問は次のようなものだ。「ジェームズは4ポンドの牛肉を5パック購入しました。牛肉の価格は1ポンドあたり5.50ドルです。彼はいくら支払いましたか？」

エンジニアたちは、データの汚染を避けるために質問内のいくつかの数値を変更するだけで、AIモデルの欠陥を明らかにしました。その結果、調査対象となった20のLLMにおいて、小さいながらも顕著な不正確さがいくつか発生しました。.

しかし、研究者らがさらに一歩進んで名前を変えたり「無関係な詳細」を追加したりしたところ、結果は「悲惨」なものとなり、65%にまで達した。.

研究者らは次のように書いている。「これは、問題解決に必要な関連情報を識別するモデルの能力に重大な欠陥があることを明らかにしている。おそらく、その推論は常識的に見て形式的ではなく、主にパターンマッチングに基づいているためだ。」

研究者によると、結果はモデルごとに異なっていた。OpenAIの01-previewは17.5%低下し、その前身であるGPT-4oは32%低下した。研究者らは、「最も賢い」モデルでさえ問題に直面し、深刻な欠陥がいくつか見られたと指摘した。.

AIモデルは自力で苦戦している 

今回のテストでは、AIモデルは問題解決能力に優れているように見えるものの、誰かの宿題をそのまま書き写すような作業以外では苦戦することも明らかになった。 アップル社はテスト結果を把握していたにもかかわらず、自社モデルを市場に投入したと報じられている。

、BBCがこのモデルが誤解を招く情報を流しているとして懸念を表明するなど、市場からの激しい反発が必要だった。 このプログラムを停止し、 問題を解決するまでには

Apple の AI 機能はニュース通知を要約すると期待されていたが、読者やニュース発行者の不満を招き、独自にニュースを捏造することもあった。.

不正確なニュースアラートの一つは、ラファエル・ナダルが同性愛者であるとか、米国の保険会社社長殺害容疑の男が銃で自殺したといった内容だった。また、AppleのAIはBBCアプリの通知を不正確に要約し、PDC世界ダーツ選手権開始の数時間前にルーク・リトラーが優勝したと主張した。.

1月6日、国会議事堂襲撃事件の4周年に関するニューヨークタイムズの記事の別の誤った要約が掲載されたようだ。.

「Apple Intelligenceの機能は現在ベータ版であり、ユーザーからのフィードバックを参考に継続的に改善を進めています」とAppleはBBCへの声明で述べた。「今後数週間以内に行われるソフトウェアアップデートにより、表示されるテキストがApple Intelligenceによる要約である場合がさらに明確になります。予期しない通知の要約が表示された場合は、ご報告ください」と声明は 付け加えた。

Appleの欠陥機能は、iPhone 16、15 Pro、15 Pro Max端末を含む一部の新型iPhoneや一部のiPad、Macのユーザー向けに12月にリリースされたAIツールの1つだった。.