Meta에 따르면, SAM 3D는 Segment Anything Collection의 최신 추가 콘텐츠로, 단일 2D 이미지를 3D 이해하는 데 중점을 두고 있습니다. SAM 3D는 두 가지 모델로 구성되어 있습니다: 가구, 건축물, 일상 사물을 정적인 이미지에서 회전 가능하고 세부 관찰 가능한 3D 모델로 복원하는 SAM 3D 객체; SAM 3D Body는 3D 자세 및 형태 추정을 담당하며, 한 장의 사진만으로도 인체의 골격 자세와 신체 형태를 추론하고, 가림막, 극단적인 자세, 복잡한 시근 상황에서도 안정적인 성능을 유지합니다. Meta에 따르면 두 방법 모두 공개 벤치마크에서 현재 수준을 충족하거나 갱신하며, SAM 3D Objects는 여러 3D 재구성 작업에서 기존 기법보다 훨씬 우수한 성능을 보입니다.
공식 보도자료에는 SAM 3D가 Segment Anything Playground에서 온라인 체험을 공개했으며, 사용자가 이미지를 업로드해 3D 재구성을 볼 수 있다고 밝혔습니다. 연구와 개발자들은 모델 체크포인트와 추론 코드를 획득하여 Meta의 새로운 3D 벤치마크 데이터셋을 활용해 평가할 수 있습니다; 구체적인 이용 약관과 라이선스는 AI 블로그 및 모델 저장소에 있는 Meta의 설명에 따라 결정됩니다. 전반적으로 사용자가 제공한 이 사본은 SAM 3D의 위치 선정과 두 하위 모델의 핵심 기능을 정확히 요약했으며, 과장이나 왜곡은 전혀 없습니다.
FAQ
Q: 이 섹션 "SAM 컬렉션의 최신 추가인 SAM 3D 소개..." 그게 사실인가요?
A: 맞아요. 같은 사본은 Meta AI 공식 Threads, X, LinkedIn 등 여러 계정에 게재되었으며, Meta Newsroom의 SAM 3 / SAM 3D 보도자료에서 공식 발표된 것으로 확인되었습니다.
Q: SAM 3D에는 어떤 모델이 포함되어 있나요?
A: SAM 3D는 두 가지 모델로 구성되어 있습니다: 객체와 전체 장면의 3D 재구성을 위한 SAM 3D 객체와 인체의 3D 자세 및 형태 추정을 위한 SAM 3D Body로, 두 모델 모두 단일 정적 이미지로부터 시각화된 3D 결과를 생성할 수 있습니다.
Q: SAM 3D는 이전의 Segment Anything과 어떻게 다른가요?
A: 초기 SAM은 주로 2D 분할과 추적을 중심으로 "이미지에서 객체 픽셀을 세분화하는 것"에 중점을 두었습니다; SAM 3D는 이 기반 위에 3D 기하학 재구성을 완성하여, 모델이 객체를 단순히 '원'할 뿐만 아니라 실제 공간에서 그 형태와 자세를 추론할 수 있게 합니다.
Q: SAM 3D 오브젝트와 SAM 3D 바디는 어떤 시나리오에 적합한가요?
A: SAM 3D Objects는 오브젝트와 실내 장면 재구성에 더 적합하며, AR/VR 자산 생성, 가상 배치, 로봇 잡기 등에도 사용할 수 있습니다. SAM 3D 바디는 캐릭터의 자세와 체형을 타겟팅하며, 스포츠 분석, 모션 캡처, 아바타 운전 및 의료 관련 연구에도 활용될 수 있습니다.
Q: SAM 3D는 오픈 소스인가요? 일반 개발자들은 어떻게 사용할 수 있나요?
답변: 메타는 보도자료에서 SAM 3D가 모델 체크포인트와 추론 코드, 그리고 새로운 3D 벤치마크 데이터셋을 제공할 것이라고 밝혔습니다; 사용자는 현재 Segment Anything Playground를 통해 온라인으로 직접 경험할 수 있으며, 개발자들은 Meta AI 블로그와 관련 모델 저장소를 따라 사용 지침과 라이선스 조건에 통합할 수 있습니다.
