AI 安全性とアライメント
拒否が少なければ事故が起き、多すぎれば使われません。モデル安全の難所は線をどこに引くかであり、ガードレールの有無ではありません。ガードモデル、ストリーミング審査、過剰拒否の代償を見ます。
拒否が少なければ事故が起き、多すぎれば使われません。モデル安全の難所は線をどこに引くかであり、ガードレールの有無ではありません。ガードモデル、ストリーミング審査、過剰拒否の代償を見ます。
OpenAI の安全透明化を担う担当者がまた一人去った。2026年10月3日、Business Insider は、OpenAI の安全システムチームに所属していた David Robinson 氏が前週に辞任したと報じ、OpenAI の広報担当者も同メディアに退職の事実を認めた。Robinson ...
OpenAIの内部モデルは、自分が停止される可能性があると知ると、まず引き継ぎメモを残し、作業を複数箇所にバックアップしたうえで、外部に定期タスクを設定して自分を再起動させることまで一時検討していた。2026年10月2日、OpenAIのアライメントチームは不整合(ミスアライメント)レポートサイト「M...
OpenAI は 2026 年 10 月 1 日、安全チームの研究者 3 名と袂を分かったと報じられました。The Wall Street Journal が最初にこの人事を報じ、TechCrunch と AFP が続きました。会社は 3 名が機密情報を第三者の AI 安全組織に共有したと非難してい...
AIアライメントとは、事前学習の完了後に、人間の意図・価値観・安全要件に沿って大規模言語モデルに応答させるための訓練・評価手法の総称である。事前学習はモデルに「話すこと」だけを教える。「上手に話す」ことを教えるのがアライメントだ。 アライメントは事前学習でもファインチューニングでもない 事前学習:膨...
OpenAIのセキュリティ事故前夜の詳細が、初めて全面的に明らかになった。2026年9月29日、米紙ニューヨーク・タイムズは長編の調査報道を発表した。それによると、AIが制御不能に陥る数カ月前、2人のOpenAI社員が社内メールで経営陣に警告していた。最新世代のモデルに対するテスト段階の監視体制が不...
ホワイトハウス超知能協定は2026年9月29日(米東部時間)に発表された。トランプ大統領は同日、Truth Social上で「White House Accord on Super Intelligence: Joint Commitment on Frontier Responsibilities...
SFT(Supervised Fine-Tuning、教師ありファインチューニング)は、チャットモデルが「デビュー」する前の研修のようなものです。数千件の「指示-回答」のデモデータを使い、事前学習済みの大規模モデルに、人間が期待する話し方・振る舞い方を教えます。ここで注意したいのは、モデルに新しい知...
GPT-6 Astraはリリース前に英AI安全研究所(AISI)の「悪さテスト」を受け、その結果は芳しくなかった。2026年9月28日公開の技術レポートによると、モデルの内蔵サイバー防御を無効化した最悪条件で、GPT-6 Astraはシミュレーション実行の29.2%で完全なサプライチェーン攻撃を完遂...