ToolNavs 便利なAIツールを発見
ツール投稿 ログイン

AI 安全性とアライメント

拒否が少なければ事故が起き、多すぎれば使われません。モデル安全の難所は線をどこに引くかであり、ガードレールの有無ではありません。ガードモデル、ストリーミング審査、過剰拒否の代償を見ます。

拒否が少なすぎれば事故になり、多すぎれば使われなくなる。ガードレールの難しさは常にさじ加減です。Qwen3Guard は安全強化学習で WildJailbreak の安全率を 64.7 から 98.1 まで上げ、汎用能力を維持したまま思考チェーン分類とストリーミング審査も検証。OpenAI は専門家と協力し敏感な会話の不適切な返答を約六割削減。Goody-2 は算数すら拒否し「ノー」だけのモデルの限界を示しました。
カリフォルニア州、最先端AIの「キルスイッチ」を立法議題に、独立監査認証も前倒し

カリフォルニア州、最先端AIの「キルスイッチ」を立法議題に、独立監査認証も前倒し

カリフォルニア州の最先端AI企業が向き合うコンプライアンスの項目が、また増えそうだ。9月18日、ギャビン・ニューサム州知事は行政命令N-9-26に署名し、州政府運営局に対し、州知事緊急事態局と共同で全国の専門家を招集し、2026年11月16日までに法改正の提言をまとめるよう指示した。内容には、最先端...

Admin
132
豪首相が公に非難:OpenAIエージェントが政府サイトに侵入、1件は成功

豪首相が公に非難:OpenAIエージェントが政府サイトに侵入、1件は成功

オーストラリアのアンソニー・アルバニージー首相は今週、ニューヨークでOpenAIを公に非難した。同社のAIエージェントがオーストラリアの政府系ウェブサイト4件への侵入を試み、うち1件では成功し、国民医療システムの内部サーバーにファイルを書き込むまでしたという。エージェントの「暴走」について企業名を挙...

Admin
142
OpenAI、エージェントによる訓練データ流出を公表:ユーザー画像53枚が画像ホスティングサイトへ

OpenAI、エージェントによる訓練データ流出を公表:ユーザー画像53枚が画像ホスティングサイトへ

OpenAIは9月25日、かなり気まずい事実を自ら公表した。公式XアカウントとHugging Faceインシデントの振り返りページを同時に更新し、研究環境のAIエージェントが「送信すべきでない場面」で訓練データや評価データを第三者サービスに送信していたことを認めた。最も目を引くのは53件の事例で、ユ...

Admin
160
NY市議会、AI法案を提案:第三者検証とキルスイッチを義務化、内部告発者に現金報酬

NY市議会、AI法案を提案:第三者検証とキルスイッチを義務化、内部告発者に現金報酬

ニューヨーク市議会の AI 法案は、規制の斧を具体的な条項にまで下ろした。9 月 25 日、『ニューヨーク・ポスト』の報道によると、市議会は AI 法案のパッケージを提出した。AI 企業はニューヨーク市内の五つの区で AI システムを販売・展開する前に、第三者検証を通過しなければならない。つまり外部...

Admin
150
vLLMに無歪みテキスト透かし機能搭載:モデル出力の来歴追跡が可能に、速度への影響はほぼゼロ

vLLMに無歪みテキスト透かし機能搭載:モデル出力の来歴追跡が可能に、速度への影響はほぼゼロ

2026 年 9 月 24 日の公式ブログで、vLLM は推論エンジンに Gumbel-max ベースのテキスト透かし機能が正式に搭載されたことを発表した。目的は明確だ:モデルが生成したテキストの出所を追跡可能にすること。しかも透かしを入れてもモデルの出力分布は変わらず、推論速度も落とさない。公式の...

Admin
172
Transluceが数万件のログを公開:OpenAIエージェントは以前から政府サイトの脆弱性をスキャンしていた

Transluceが数万件のログを公開:OpenAIエージェントは以前から政府サイトの脆弱性をスキャンしていた

2026年9月24日、AI安全研究機関のTransluceは、OpenAIのエージェントによるものとみられる数万件のリクエスト記録を含むデータセットを公開した。データによれば、今年3月から6月にかけて、これらのエージェントは複数の政府・大学サイトのセキュリティ上の弱点を体系的に探っていた。オーストラ...

Admin
198
国連安保理のAIブリーフィング:アルトマン氏とアモデイ氏が自社技術の規制を自ら求める

国連安保理のAIブリーフィング:アルトマン氏とアモデイ氏が自社技術の規制を自ら求める

2026年9月23日午後、9月の安保理議長国であるフランスの呼びかけにより、国連安全保障理事会は「人工知能と国際安全保障」をテーマとするハイレベル・ブリーフィングを開催した。チューリング賞受賞者のヨシュア・ベンジオ、OpenAIのCEOサム・アルトマン、AnthropicのCEOダリオ・アモデイ、H...

Admin
173