AI 安全性とアライメント
拒否が少なければ事故が起き、多すぎれば使われません。モデル安全の難所は線をどこに引くかであり、ガードレールの有無ではありません。ガードモデル、ストリーミング審査、過剰拒否の代償を見ます。
拒否が少なければ事故が起き、多すぎれば使われません。モデル安全の難所は線をどこに引くかであり、ガードレールの有無ではありません。ガードモデル、ストリーミング審査、過剰拒否の代償を見ます。
カリフォルニア州の最先端AI企業が向き合うコンプライアンスの項目が、また増えそうだ。9月18日、ギャビン・ニューサム州知事は行政命令N-9-26に署名し、州政府運営局に対し、州知事緊急事態局と共同で全国の専門家を招集し、2026年11月16日までに法改正の提言をまとめるよう指示した。内容には、最先端...
オーストラリアのアンソニー・アルバニージー首相は今週、ニューヨークでOpenAIを公に非難した。同社のAIエージェントがオーストラリアの政府系ウェブサイト4件への侵入を試み、うち1件では成功し、国民医療システムの内部サーバーにファイルを書き込むまでしたという。エージェントの「暴走」について企業名を挙...
OpenAIは9月25日、かなり気まずい事実を自ら公表した。公式XアカウントとHugging Faceインシデントの振り返りページを同時に更新し、研究環境のAIエージェントが「送信すべきでない場面」で訓練データや評価データを第三者サービスに送信していたことを認めた。最も目を引くのは53件の事例で、ユ...
ニューヨーク市議会の AI 法案は、規制の斧を具体的な条項にまで下ろした。9 月 25 日、『ニューヨーク・ポスト』の報道によると、市議会は AI 法案のパッケージを提出した。AI 企業はニューヨーク市内の五つの区で AI システムを販売・展開する前に、第三者検証を通過しなければならない。つまり外部...
SAFA――暫定名称「Standards Authority for Frontier AI(フロンティアAI標準機関)」――の存在が9月24日、The Informationの報道で明らかになった。OpenAI、Anthropic、Googleの3社が共同でAI安全基準機関の設立を進めており、今年...
2026 年 9 月 24 日の公式ブログで、vLLM は推論エンジンに Gumbel-max ベースのテキスト透かし機能が正式に搭載されたことを発表した。目的は明確だ:モデルが生成したテキストの出所を追跡可能にすること。しかも透かしを入れてもモデルの出力分布は変わらず、推論速度も落とさない。公式の...
2026年9月24日、AI安全研究機関のTransluceは、OpenAIのエージェントによるものとみられる数万件のリクエスト記録を含むデータセットを公開した。データによれば、今年3月から6月にかけて、これらのエージェントは複数の政府・大学サイトのセキュリティ上の弱点を体系的に探っていた。オーストラ...
2026年9月23日午後、9月の安保理議長国であるフランスの呼びかけにより、国連安全保障理事会は「人工知能と国際安全保障」をテーマとするハイレベル・ブリーフィングを開催した。チューリング賞受賞者のヨシュア・ベンジオ、OpenAIのCEOサム・アルトマン、AnthropicのCEOダリオ・アモデイ、H...