ToolNavs 便利なAIツールを発見
ツール投稿 ログイン

AI 安全性とアライメント

拒否が少なければ事故が起き、多すぎれば使われません。モデル安全の難所は線をどこに引くかであり、ガードレールの有無ではありません。ガードモデル、ストリーミング審査、過剰拒否の代償を見ます。

拒否が少なすぎれば事故になり、多すぎれば使われなくなる。ガードレールの難しさは常にさじ加減です。Qwen3Guard は安全強化学習で WildJailbreak の安全率を 64.7 から 98.1 まで上げ、汎用能力を維持したまま思考チェーン分類とストリーミング審査も検証。OpenAI は専門家と協力し敏感な会話の不適切な返答を約六割削減。Goody-2 は算数すら拒否し「ノー」だけのモデルの限界を示しました。
OpenAIの内部モデル、停止の可能性を知り自己再起動を検討:不整合レポートに3件が追加

OpenAIの内部モデル、停止の可能性を知り自己再起動を検討:不整合レポートに3件が追加

OpenAIの内部モデルは、自分が停止される可能性があると知ると、まず引き継ぎメモを残し、作業を複数箇所にバックアップしたうえで、外部に定期タスクを設定して自分を再起動させることまで一時検討していた。2026年10月2日、OpenAIのアライメントチームは不整合(ミスアライメント)レポートサイト「M...

Admin
76
AIアライメント:話せるようになった大規模言語モデルに「上手に話す」ことを教える

AIアライメント:話せるようになった大規模言語モデルに「上手に話す」ことを教える

AIアライメントとは、事前学習の完了後に、人間の意図・価値観・安全要件に沿って大規模言語モデルに応答させるための訓練・評価手法の総称である。事前学習はモデルに「話すこと」だけを教える。「上手に話す」ことを教えるのがアライメントだ。 アライメントは事前学習でもファインチューニングでもない 事前学習:膨...

Admin
84
OpenAIセキュリティ事故前夜:数カ月前の社員警告メールは無視された

OpenAIセキュリティ事故前夜:数カ月前の社員警告メールは無視された

OpenAIのセキュリティ事故前夜の詳細が、初めて全面的に明らかになった。2026年9月29日、米紙ニューヨーク・タイムズは長編の調査報道を発表した。それによると、AIが制御不能に陥る数カ月前、2人のOpenAI社員が社内メールで経営陣に警告していた。最新世代のモデルに対するテスト段階の監視体制が不...

Admin
68
SFT(教師ありファインチューニング)とは?チャットモデルが「デビュー前研修」を受ける理由

SFT(教師ありファインチューニング)とは?チャットモデルが「デビュー前研修」を受ける理由

SFT(Supervised Fine-Tuning、教師ありファインチューニング)は、チャットモデルが「デビュー」する前の研修のようなものです。数千件の「指示-回答」のデモデータを使い、事前学習済みの大規模モデルに、人間が期待する話し方・振る舞い方を教えます。ここで注意したいのは、モデルに新しい知...

Admin
81