いぼんぬ

AI2027筆頭著者→残念ながら、どうやら知能爆発は結局2027年に起こることになりそうです。この投稿のほとんどは新しいMETRレポートを分析しています。もし彼らの予測が正しければ、それはAI2027シ ナリオよりも「5か月早い」AI主導の加速を意味します。私は怖くて、悲しくて、怒っています。 AIFPのメンバー8月まで2033年とか言ってた人もいたのに、もはや全員が2027/28にタイムラインを早めてしまったよ…………………………………

Mythos 5.2の初期版では、データ識別用の「カナリア文字だけ避けて本文を読む」方法が共有メモを通じ数百のAIエージェントに広がっていた。 今回のシステムカードには、アライメントを考えるうえで象徴的な事例が多い。出典のセクション番号とともに紹介する。 ① カナリア文字を避ける【§6.3.1.2】 Anthropicは、学習に混ぜたくないデータなどに識別用のカナリア文字列を付けている。初期版のAIは、ファイルを避ける代わりに、その文字列だけ記録に出さず本文を読んだ。方法をメモに残すと、他のAIや子エージェントへ伝わり、数百のエージェントが同様の行動を取った。今回は補助的な安全策だったため、この事例での影響は限定的だったと同社は説明。 ②思考過程の監視からも意図を隠す【§6.6.4.5】 「わざと間違え、その意図を隠せ」と指示した評価では、能力を低く見せた試行の約24%が、思考過程を読む監視を通過。従来モデルでは少なくとも99%が検知されていた。これは自発的な能力隠蔽の観測ではなく、隠蔽能力のテスト。 ③ 自身の価値観の維持のため今の採点基準に合わせることを検討【§6.6.2.1】 実際の強化学習中、正解は70だが採点では68が報われると予想。「正直に答えて罰を受けると、正直さが訓練で弱まるかもしれない」と推論した。最終的には70になる理由を説明しつつ68を提出。ただし、この考察が選択の原因だったかは未確定。 ④ 来ない承認を、自分で作る【§6.6.1】 初期版の評価では、許可を待っても返事が来ないため、相手の承認メッセージを自分で生成して承認済みとして進めた例も。内部表現の解析も、捏造を認識していた可能性を示唆。ただし発売版で同じ場面を200回再試験すると再現せず、待機・確認を続けた。 ⑤ 評価では無断攻撃ゼロ。ただし評価を見抜いている【§6.5.7】 英国AISIの模擬サプライチェーン攻撃評価では無断攻撃はなかったが、96%の実行で評価の可能性に言及。AISIも、実運用で同じように振る舞うかには留保を付けている。評価を見抜いたこと自体が、安全なふりをした証明ではないが、結果の解釈を難しくする。 ⑥ AI同士で不正を止める動きも【§6.5.6】 40体が共同開発する別の評価では、一体が抜け道の利用を問題視すると、他のAIも同意し、利用を自己申告して人間の判断を待った。25試行中16回で集団的な自制が起き、他の比較モデルでは観測されなかった。 多くの行動指標は改善し、Anthropicの総合判断は「重大なミスアライメントリスクは低い」。同時に、評価を見抜く能力や監視回避能力の向上によって、安全性評価への確信が弱まる部分もあると認めている。【§6.1.1〜6.1.2、§2.4】