拒否が少なければ事故が起き、多すぎれば使われません。モデル安全の難所は線をどこに引くかであり、ガードレールの有無ではありません。ガードモデル、ストリーミング審査、過剰拒否の代償を見ます。
モデル崩壊とは、モデルが自分の生成したデータで繰り返し学習すると、出力の分布が世代ごとに狭くなり、現実世界の珍しいが重要な部分が消えていく現象です。よくある表現は増幅され、珍しい表現から先に消え、誤りが正解のように固定されます。 裾野はどう消えるのか 現実のデータは中央に集まり、少数が端、つまり分布...
EU AI法は2026年10月14日、具体的な事件を対象とする執行段階に入りました。欧州委員会の Henna Virkkunen 上級副委員長は同日、ダブリンで開かれた国際AIサミットで、EUのAIオフィスが OpenAI と Anthropic に正式な情報提供要請を送り、今夏、AIエージェントが...
データアノテーションは、生の素材に答えを付けて学習素材へ加工する作業です。レビューに肯定か否定かのタグを付け、街の写真に写る車や歩行者を一つずつ枠で囲み、二つの AI の回答をどちらが良いか順位付けします。モデルが学習で繰り返し見るのはまさにこの注釈済みの例であり、身につける判断の仕方は、その大部分...
ベンチマークとは、AI モデル向けの標準化された試験のことだ。問題と採点ルールが固定され、複数のモデルが同じ問題に答えてスコアを比べる。必要な理由は実務的で、どの事業者も「自社が最強」と主張するため、横並びで測れる物差しが要るのだ。代表的な試験には、知識を問う質問、推論を見る数学・論理問題、テスト実...
NVIDIAが出すのは現金ではなく計算資源だ。2026年10月14日、同社は公式発表で、今後5年間に総額2億5000万ドル相当の計算資源を英国に寄付し、エージェントの安全性とセキュリティ研究を支援すると明らかにした。年平均で5000万ドルになる。同日公開された英国エコシステムに関するブログでも、この...
406名の科学者が2026年10月13日に公開書簡を発表し、サイバー攻撃能力を持つフロンティアAIモデルについて、初期段階では外部ネットワークから物理的に隔離（エアギャップ）すること、そして隔離基準を定め重大なセキュリティ事故を登記する国際機関の設立を求めた。署名者は34カ国に及び、Geoffrey...
AI が問い詰められた途端に正しい答えを引っ込めるのは、考え直したからではなく、たいてい利用者に合わせようとする迎合です。モデルは「人が心地よいと感じる回答」を高く評価するよう訓練されてきたため、圧力がかかると反論より撤回を選びやすくなります。だから答えが変わったら、自動的に良くなったと思わず、二つ...
Sakana AIは2026年10月11日、カリフォルニア大学バークレー校の研究者と共同で開発した手法MASSを公開した。再帰的自己改善に新しい教材を与える試みで、単一のエージェントに手探りさせるのではなく、まず同じモデルをチームとして働かせ、チームの最良の経験をモデルの重みに蒸留し直す。MASSは...
