一、摘要
PE-AV（Perception Encoder Audiovisual）是 Meta 开源的音频-视觉联合编码器家族，在 Perception Encoder 基础上加入原生音频能力，用统一嵌入空间对齐视频、音频、音视频与文本表征。它被用于支撑 SAM Audio 的关键组件，并在多项音频/视频检索与理解基准上取得领先表现。
二、核心特性
1、多模态统一嵌入：同时支持 audio、video、audio-video、text 的特征编码与相似度计算。
2、面向音视频检索与对齐：可做“文本找声音/找画面”“画面找声音”等跨模态检索。
3、多尺寸/多版本权重：提供 small/base/large，以及“16-frame”和“all frames”等配置，便于在效果与算力间取舍。
4、工程可复用：与 perception_models 生态同仓发布，便于和 PE 系列、下游多模态应用协作。
三、安装
1、克隆代码：git clone https://github.com/facebookresearch/perception_models
2、创建环境并安装依赖：按仓库 requirements.txt / setup.py 指引安装（不同平台依赖可能不同）。
3、获取权重：运行示例时会从 Hugging Face 拉取对应 checkpoint（如 pe-av-large 等）。
四、典型用例
1、音视频检索：用一句话从视频库里找“带警笛声的对话片段”。
2、声音线索辅助理解：在嘈杂场景下结合画面提升声源识别与场景描述。
3、音频分离/编辑的上游感知：为类似 SAM Audio 的交互式分离提供更强的音视频对齐表征。
4、数据标注与质检：用跨模态相似度筛查“画面与声音不一致”的样本。
五、生态与竞品
1、生态：PE-AV 隶属于 Meta 的 perception_models；模型权重在 Hugging Face 以集合形式发布，便于复现与集成。
2、竞品思路：与仅音频编码器或仅视频编码器相比，PE-AV 主打“音频-视觉对应学习”的统一空间；与 CLIP 类方法相比，扩展到音频与音视频联合表征，更贴近真实视频任务。
六、局限与注意事项
1、算力与吞吐：视频帧数配置会显著影响显存与速度，需按业务选择 small/base/large 与帧策略。
2、数据域偏移：在特定语言、特定音频类型或强噪声条件下，跨模态对齐可能下降，建议做小规模验证。
3、版权与隐私：处理公开视频/音频与人物对话时，需遵守数据合规与授权要求。
七、项目地址
https://github.com/facebookresearch/perception_models
八、常见问题
问题（PE-AV 开源模型）支持哪些输入模态？
回答
支持音频、视频、音视频与文本，并输出可用于相似度计算的嵌入表示。
问题（PE-AV 安装）权重从哪里下载，是否需要手动放置？
回答
通常通过 Hugging Face 自动拉取对应 checkpoint；离线环境需按仓库说明手动下载与配置路径。
问题（PE-AV 与 SAM Audio）两者关系是什么？
回答
PE-AV 是驱动 SAM Audio 若干核心组件的感知/编码引擎，提供更强的音视频对齐能力。
问题（PE-AV checkpoint）应该选 pe-av-small/base/large 还是 16-frame？
回答
越大通常效果更强但更耗算力；16-frame 更省资源，all frames 更充分利用视频信息，建议以业务速度/成本约束做对比实验。
