スパース回路におけるアテンションヘッドと残留チャネルの役割

ブラックボックスから回路図へ: OpenAI は重みスパース トランスフォーマーを使用してニューラル ネットワークの解釈可能性を改善

2025 年 11 月 13 日、OpenAI は「スパース回路によるニューラル ネットワークの理解」と題する研究と論文を発表し、「重みスパース トランスフォーマー」を通じてニューラル ネットワークの機械的解釈可能性を向上させることを提案しました。 事後の高密度ネットワークでの「もつれの解き放つ」と...