SAM Audio
MetaのSAM Audioによる音声分離の考え方を整理。テキスト・視覚・時間区間の三種プロンプトの重ね方と、基盤のPE-AVエンコーダの役割を見る。
Meta の統一型オーディオ分割・編集モデルで、複雑なミックスからプロンプトに従って特定の音を分離し編集する。SAM Audio はテキスト、視覚（映像内の発音対象をクリック）、時間区間のプロンプトを重ねて使え、楽器や声の分離、録音のノイズ除去、ポッドキャストの雑音除去に用いられる。
PE-AV(Perception Encoder Audiovisual) オープンソース解釈:SAM Audioを駆動する音声分離エンジン
- Abstract PE-AV(Perception Encoder Audiovisual)は、Metaのオープンソースのオーディオビジュアル共同エンコーダファミリーであり、Perception Encoderをベースにネイティブオーディオ機能を追加し、映像、音声、音声およびテキスト表現を統一さ...
Admin
168 
SAM AudioがSegment Anything Playgroundを起動:ミックストラックから任意の音源を抽出
MetaはSAM Audio(SAM-Audio)を立ち上げました。これは「統一された」音声セグメンテーションおよび編集AIモデルとして位置づけられ、複雑なミックスで特定の音を迅速に分離・編集することを目標としています。 典型的なユースケースには、バンドのビデオからギターやボーカルを個別に抽出するこ...
Admin
257