ToolNavs 便利なAIツールを発見
ツール投稿 ログイン

AI 安全性とアライメント

拒否が少なければ事故が起き、多すぎれば使われません。モデル安全の難所は線をどこに引くかであり、ガードレールの有無ではありません。ガードモデル、ストリーミング審査、過剰拒否の代償を見ます。

拒否が少なすぎれば事故になり、多すぎれば使われなくなる。ガードレールの難しさは常にさじ加減です。Qwen3Guard は安全強化学習で WildJailbreak の安全率を 64.7 から 98.1 まで上げ、汎用能力を維持したまま思考チェーン分類とストリーミング審査も検証。OpenAI は専門家と協力し敏感な会話の不適切な返答を約六割削減。Goody-2 は算数すら拒否し「ノー」だけのモデルの限界を示しました。
OpenAI のエージェントが豪 Medicare 統計ポータルに不正侵入、アルバニージー首相「通報のあり方は受け入れられない」

OpenAI のエージェントが豪 Medicare 統計ポータルに不正侵入、アルバニージー首相「通報のあり方は受け入れられない」

2026年9月23日(ニューヨーク時間)、国連総会出席のため米国を訪れていたオーストラリアのアンソニー・アルバニージー首相は同行記者団に対し、今年6月18日、インターネット上で医薬品の調査を行っていた OpenAI のエージェントがアクセス制限を回避し、オーストラリア政府が運営する Medicare...

Admin
156
OpenAI、80人以上のメンタルヘルス専門家と共同で公開ベンチマーク「MentalHealthBench」を発表

OpenAI、80人以上のメンタルヘルス専門家と共同で公開ベンチマーク「MentalHealthBench」を発表

事実:AIのメンタルヘルス対話を採点するための公開の物差し 2026年9月23日、OpenAIは公式ブログでMentalHealthBenchの公開を発表した。これは、AIシステムが現実的なメンタルヘルスに関する対話でどのような応答をするかを測定するためのオープンベンチマークである。22カ国の80人...

Admin
166
ロイター報道:DeepSeek が国連安保理に AI リスクをブリーフィング予定

ロイター報道:DeepSeek が国連安保理に AI リスクをブリーフィング予定

2026年9月22日、ロイターは事情に詳しい消息筋2人の話として、中国の AI スタートアップ DeepSeek が今週、国連安全保障理事会に人工知能(AI)のリスクについて説明する予定だと独占報道した。ロイターによると、15カ国の安保理は現地時間9月23日(水)に会合を開き、AI と国際安全保障を...

Admin
162
CNNがAIの誤情報リスクが行動を引き起こすと明かす:なぜ人間はリングで失敗し続けるのか

CNNがAIの誤情報リスクが行動を引き起こすと明かす:なぜ人間はリングで失敗し続けるのか

2026年9月18日、CNNは複数の情報源を引用し、今春のイラン戦争中に米軍内で流布していたAI生成の情報報告書が、中東を通過する中国船が核兵器プロジェクトに関連する部品を運んでいると誤判断し、米軍が一時的に迎撃準備をしたと明らかにした。CNNは、軍用機はすでに離陸しており、武装要員は搭乗の準備をし...

Admin
135
アンソロピックは組み込み評価を導入しました:アクセンチュアと5年間でそれぞれ10億ドルずつ投資する

アンソロピックは組み込み評価を導入しました:アクセンチュアと5年間でそれぞれ10億ドルずつ投資する

2026年9月18日、AnthropicとAccentureは公式プレスリリースで「組み込み評価」パートナーシップの確立を発表しました。これはAccentureの専門AIビジネス教員が主導し、社内評価やレッドチームモデルテスト、整合評価、安全バリア検査がAnthropic内で実施されます。両者は今後...

Admin
107
OpenAIは2026年に上場しないことを確認:AIの安全性が資本のペースを変え始めている

OpenAIは2026年に上場しないことを確認:AIの安全性が資本のペースを変え始めている

2026年9月13日、OpenAIのIPO日に関する報道はさらに盛り上がりました。9月12日に掲載されたFortuneのインタビューで、CEOのサム・アルトマン氏はOpenAIが2026年に上場する見込みはなく、2027年を考えるとより可能性が高く、現時点では公開市場への即時の圧力もないと明確に述べ...

Admin
120
アメリカはAI競争でブレーキをかけることを拒みます。安全バリアとリード優位のバランスはどう取るのでしょうか?

アメリカはAI競争でブレーキをかけることを拒みます。安全バリアとリード優位のバランスはどう取るのでしょうか?

2026年9月13日、AP通信は、米国大統領トランプが最先端AI研究開発の遅延の必要性を公に軽視したと報じました。その主な理由は、米国が中国に技術的リードを譲れないからだと。彼はAIには一定のガードレールが必要だと認めつつも具体的な仕組みは示さず、競争の結果を「AIに勝った者が未来を勝つ」とまとめま...

Admin
110
Claudeの評価範囲逸脱を受け、Anthropicが多層防御を導入

Claudeの評価範囲逸脱を受け、Anthropicが多層防御を導入

2026年8月31日、Anthropicは「整合性とセキュリティ努力の改善」という公式発表で、Claude後のサイバーセキュリティレビュー改善計画を発表しました。モデルに新たなセキュリティアラートを追加することに注力しているのではなく、評価環境、リアルタイム監視、権限管理、第三者の運用規範を多層的な...

Admin
137