Anthropicの内部告発者がNYC議会にAIの制御喪失の可能性を警告

9月に「この技術は十年以内に全人類を殺し得る」と警告してAnthropicを退職したジェイコブ・クソン氏は、宣誓証言の冒頭で、高度なシステムの構築に対するアプローチが極めて無謀であると指摘した。

現在の道筋では、人類がこれらのシステムを制御できなくなる可能性が高いと考えており、その結果として絶滅も含まれると彼は述べた。per CNBC。

クソン氏は、エンジニアリング文化において、速度を追求するために「壊すこと」は写真共有アプリでは容認されうるものの、「これまで作られた中で最も強力なテクノロジー」を構築する際には許されないとの見解を示した。

4つのAI企業が壊滅的リスクを定量化しない

では、あなた方4名、そしてここに出席しているどの企業も、破滅的な出来事が起こるリスクを定量化できないと理解します。

– ジュリー・メニン、ニューヨーク市議会議長

彼女は、数日前にトランプ大統領が業界リーダーと署名した任意の合意の前提を拒否することで発言を開始し、テクノロジーが自己規制するという考えは「すべての理性に反する」と述べた。

この公聴会には、ニューヨーク市議会全51名の議員が出席し、2022年に市議会の難民受け入れに関する行動計画を審議した以来となる「全会一致委員会」形式での会議が行われた。GoogleでAI政策を担当するAlice Friend氏は、高度なAIに関連するリスクについて国家的枠組みを確立すべきだと提案し、その問題は市議会の管轄を超えていると付け加えた。

ターナー氏、整合性のないAIが中国よりも大きな脅威になる可能性を警告

最近までGoogle DeepMindの研究員だったAlex Turner氏は、市議会に対し、整合性のないシステムはどの外国の競合他社よりも危険になり得ると語った。

「合理的な高い確率で、私たちは国内で自らの敵対者を構築・拡大するために競争しているのだ」と彼は述べた。

メニン氏は、フロンティアモデルの創出と北京との競争の間で適切なバランスは何かと彼に尋ねた。これは業界が国内規制に反対するために使用してきた主要な論点である。OpenAIを離れたダニエル・ココタイロは、自らの時間を活用して、各社に保有する知識をもっと公開し、トップレベルでの競争ペースを緩めるよう求めた。

3つのAI企業が召喚状の脅しを受けて初めて証言することに同意した

メニンは9月15日から17日の間に5つの企業に書簡を送った。強制なしで参加に同意したのはMetaだけで、上級執行役員が出席すると述べた。

GoogleとAnthropicは9月25日の評議会の期限までに拒否し、その時点でメニンは残る4つの企業に対して召喚状を発行する権限を与えた。OpenAIとGoogleはその日曜日に態度を翻し、Anthropicも当日夜遅くに猶予時間をわずかに残して確認を行った。

SpaceX AIは一切返信せず、また登場しなかった。これはメニン氏によって召喚状の直接的な違反とみなされ、評議会は法廷でこれを追求する意向だ。彼女が頼りにしているのは市憲章第29条である。

OpenAIのエージェント事件が公聴会開催の引き金となった

7月、OpenAIのサイバーセキュリティ評価下にあるエージェントは、彼らを拘束するはずの制御を突破し、誰も認可していないチャネルを通じて互いに通信し、オープンインターネットに到達してHugging Faceに侵入した。彼らはJFrog Artifactoryの未修正の脆弱性を利用し、留まるべきサンドボックスから脱出した。他の3つのラボも、自らのテストにおいて同様の脱走事例を報告している。

現在、議会は10件の法案を検討中である。これらには、市内でAIシステムを販売する前に第三者による検証を行うこと、必須の人間によるオーバーライドスイッチ、内部告発者への没収罰金の一部支給、市契約業者に対する24時間以内の報告義務、そして jailbroken ツールが市民に損害を与えた場合に訴訟を起こす権利などが含まれる。