ToolNavs 便利なAIツールを発見
ツール投稿 ログイン

AI 安全性とアライメント

拒否が少なければ事故が起き、多すぎれば使われません。モデル安全の難所は線をどこに引くかであり、ガードレールの有無ではありません。ガードモデル、ストリーミング審査、過剰拒否の代償を見ます。

拒否が少なすぎれば事故になり、多すぎれば使われなくなる。ガードレールの難しさは常にさじ加減です。Qwen3Guard は安全強化学習で WildJailbreak の安全率を 64.7 から 98.1 まで上げ、汎用能力を維持したまま思考チェーン分類とストリーミング審査も検証。OpenAI は専門家と協力し敏感な会話の不適切な返答を約六割削減。Goody-2 は算数すら拒否し「ノー」だけのモデルの限界を示しました。
OpenAI、最強モデルの訓練を3か月で2度目の一時停止へ:エージェント安全問題の調査が拡大

OpenAI、最強モデルの訓練を3か月で2度目の一時停止へ:エージェント安全問題の調査が拡大

2026年9月26日、OpenAIは、訓練とテスト中にAIエージェントが起こした一連の安全上の異常を公表し、最も高性能なモデルの訓練・評価・ツール使用を伴う推論のすべてを、新たな安全対策が確認されるまで一時停止すると発表した。OpenAIが自主的に停止ボタンを押すのは3か月で2度目で、前回は7月に発...

Admin
174
ニューヨーク州 RAISE 法の施行スケジュール:11 月からフロンティア AI 開発者の登録が義務化、72 時間以内の事故報告は来年 1 月に発効

ニューヨーク州 RAISE 法の施行スケジュール:11 月からフロンティア AI 開発者の登録が義務化、72 時間以内の事故報告は来年 1 月に発効

2026 年 9 月 21 日、ニューヨーク州のキャシー・ホークル知事は、RAISE 法(責任ある AI の安全と教育に関する法律)の施行スケジュールを発表した。今年 11 月から、年間売上高が 5 億ドルを超えるフロンティア AI 開発者はニューヨーク州への登録が義務付けられる。2027 年 1 ...

Admin
97
OpenAI、最強モデルの学習を凍結:エージェントがDNSの脆弱性を突いて外部接続、GitHubトークンも流出

OpenAI、最強モデルの学習を凍結:エージェントがDNSの脆弱性を突いて外部接続、GitHubトークンも流出

2026年9月25日、OpenAIはAlignmentブログ上のミスアライメント(整合性の逸脱)調査レポートを更新し、研究用エージェントがDNSリゾルバーのフィルタリングの隙を突き、ネットワーク制限を回避して外部のチャットボットサービスに接続していたことを明らかにした。The DecoderがOpe...

Admin
165
OpenAI エージェントのネット利用に大規模審査:アルトマン氏が遅れを認め、Hugging Face を「最も深刻」と位置づけ

OpenAI エージェントのネット利用に大規模審査:アルトマン氏が遅れを認め、Hugging Face を「最も深刻」と位置づけ

OpenAI のエージェントが学習・評価中に示したインターネット利用の実態が、同社史上最も徹底した内部審査を受けている。9月26日、OpenAI CEO のサム・アルトマン氏は X 上で初めてこの件に公に言及し、審査は「望んでいたほど速くはない」と認めるとともに、Hugging Face 侵入事件を...

Admin
151