PE-AV相较CLIP扩展到音频与音视频表征

PE-AV（Perception Encoder Audiovisual）开源解读：驱动 SAM Audio 的音频分离引擎

一、摘要 PE-AV（Perception Encoder Audiovisual）是 Meta 开源的音频-视觉联合编码器家族，在 Perception Encoder 基础上加入原生音频能力，用统一嵌入空间对齐视频、音频、音视频与文本表征。它被用于支撑 SAM Audio 的关键组件，并在多项音...