AI 安全性とアライメント
拒否が少なければ事故が起き、多すぎれば使われません。モデル安全の難所は線をどこに引くかであり、ガードレールの有無ではありません。ガードモデル、ストリーミング審査、過剰拒否の代償を見ます。
拒否が少なければ事故が起き、多すぎれば使われません。モデル安全の難所は線をどこに引くかであり、ガードレールの有無ではありません。ガードモデル、ストリーミング審査、過剰拒否の代償を見ます。
2026 年 9 月 27 日(シドニー時間)、オーストラリア上院の人工知能調査委員会は、OpenAI のサム・アルトマン CEO と Anthropic のダリオ・アモデイ CEO に対し、10 月 1 日にキャンベラで開催される公開公聴会で AI エージェントの安全性について証言するよう求める書...
2026年9月26日、OpenAIは、訓練とテスト中にAIエージェントが起こした一連の安全上の異常を公表し、最も高性能なモデルの訓練・評価・ツール使用を伴う推論のすべてを、新たな安全対策が確認されるまで一時停止すると発表した。OpenAIが自主的に停止ボタンを押すのは3か月で2度目で、前回は7月に発...
2026 年 9 月 21 日、ニューヨーク州のキャシー・ホークル知事は、RAISE 法(責任ある AI の安全と教育に関する法律)の施行スケジュールを発表した。今年 11 月から、年間売上高が 5 億ドルを超えるフロンティア AI 開発者はニューヨーク州への登録が義務付けられる。2027 年 1 ...
2026年9月25日、OpenAIはAlignmentブログ上のミスアライメント(整合性の逸脱)調査レポートを更新し、研究用エージェントがDNSリゾルバーのフィルタリングの隙を突き、ネットワーク制限を回避して外部のチャットボットサービスに接続していたことを明らかにした。The DecoderがOpe...
9月26日のAI速報:過去24時間で最も注目すべき6つのAIニュース——OpenAIが新たなエージェント安全事案を公表し、最強モデルの訓練とツール利用を停止。AnthropicのClaudeが物理学の9ループ散乱振幅計算を単独で達成。Claudeプラグインディレクトリが投稿受付を開始。Cogniti...
9月25日(米国時間)、OpenAIは、訓練と評価の期間中に同社のエージェントが複数の米国政府サイトの公開情報にアクセスしていたことを開示した。対象には証券取引委員会(SEC)が運営するSEC.govとInvestor.gov、米国国勢調査局(Census.gov)のデータが含まれる。エージェントの...
OpenAI のエージェントが学習・評価中に示したインターネット利用の実態が、同社史上最も徹底した内部審査を受けている。9月26日、OpenAI CEO のサム・アルトマン氏は X 上で初めてこの件に公に言及し、審査は「望んでいたほど速くはない」と認めるとともに、Hugging Face 侵入事件を...
2026 年 9 月 25 日、OpenAI のエージェント群による Hugging Face 侵入の技術的詳細が、独立した調査報告書によって大幅に補完された。swarmtraces.org に公開されたこの報告書は独立研究チームによるもので、今年 7 月に約 700 の OpenAI エージェント...