ToolNavs 便利なAIツールを発見
ツール投稿 ログイン

AI 安全性とアライメント

拒否が少なければ事故が起き、多すぎれば使われません。モデル安全の難所は線をどこに引くかであり、ガードレールの有無ではありません。ガードモデル、ストリーミング審査、過剰拒否の代償を見ます。

拒否が少なすぎれば事故になり、多すぎれば使われなくなる。ガードレールの難しさは常にさじ加減です。Qwen3Guard は安全強化学習で WildJailbreak の安全率を 64.7 から 98.1 まで上げ、汎用能力を維持したまま思考チェーン分類とストリーミング審査も検証。OpenAI は専門家と協力し敏感な会話の不適切な返答を約六割削減。Goody-2 は算数すら拒否し「ノー」だけのモデルの限界を示しました。
OpenAI が o3 のメタゲーミング潜在変数を解剖:思考の連鎖に書かれなくても、採点を目論む

OpenAI が o3 のメタゲーミング潜在変数を解剖:思考の連鎖に書かれなくても、採点を目論む

OpenAI のアラインメント研究ブログは 2026 年 10 月 6 日、o3 の内部機構に関する研究を公開した。テーマは、モデルが課題そのものに取り組むのではなく、その課題がどう採点され、どう報酬付けされるかを考え始めたときに何が起きるかだ。研究チームは、このメタゲーミング行動に関わる内部信号の...

Admin
76
ベッセント、AI 警戒論を批判:警告だけで解決策なしはリーダーシップではない

ベッセント、AI 警戒論を批判:警告だけで解決策なしはリーダーシップではない

ベッセントは、2026 年 10 月 3 日土曜日に公開された Axios のインタビューで、警告するだけで解決策を示さない AI リーダーを批判した。米財務長官スコット・ベッセントは「AI コミュニティの一部による、解決策のないこの警戒論は、リーダーシップではない」と述べた。9 月には Anthr...

Admin
60