1. 초록
ml-sharp는 애플이 SHARP 프로젝트 코드와 모델을 오픈소스 구현한 버전으로, 단일 이미지에서 3D 가우시안(3DGS) 씬 표현을 직접 되돌리고 표준 GPU에서 "1초 미만" 추론 생성을 달성하는 것을 목표로 합니다. 결과물인 3DGS는 실시간으로 렌더링되어 근처에서 고해상도 새로운 원근 합성을 할 수 있으며, "메트릭"과 절대 축척에 중점을 두어 실제 카메라 움직임에 더 가까운 내비게이션과 렌더링을 가능하게 합니다.
2. 핵심 특징
- 3DGS→ 단일 이미지 사용: 단일 사진을 입력하고 3D 가우시안 스플랫(.ply)을 장면 표현으로 출력하여 다양한 3DGS 렌더링/뷰어 도구에 접근하기에 편리합니다.
- 2차 발전: 단일 순방향 네트워크 회귀 3D 가우시안 매개변수를 사용하여 저지연 시간과 상호작용 경험에 중점을 둡니다.
- 측정 가능한 척도: 출력은 절대 척도와 카메라 움직임으로 측정 속성을 나타내며, 이는 카메라 궤적 렌더링과 AR/VR 미리보기에 더 적합하며 "실제 거리감"을 제공합니다.
- 제로 샷 일반화: 데이터셋 전반에 걸쳐 견고한 일반화 방식으로 포지셔닝되어 "어떤 사진"도 빠르게 탐색 가능한 3D 표현식으로 변환하는 데 적합합니다.
5. CLI 엔지니어링: 배치 예측, 체크포인트 지정, 생성된 가우시안의 궤적 렌더링을 지원하는 sharp 명령줄 도구를 제공합니다(하드웨어 제한 있음).
3. 설치
1. 환경 만들기(예시): conda create -n sharp python=3.13, 그 다음 conda activate sharp.
2. 의존성 설치: 저장소의 루트 디렉터리에서 pip install -r requirements.txt을 실행합니다.
3. 설치 확인: 명령어가 사용 가능한지 확인하기 위해 sharp --help 실행
4. 기본 모델 가중치는 첫 실행 시 자동으로 다운로드되어 로컬에 캐시됩니다(README에 제공된 링크를 따라 수동으로 다운로드하고 -c로 지정할 수도 있습니다).
4. 일반적인 사용 사례
- 3D 콘텐츠의 신속한 '드래프트': 단일 영상 사진을 3DGS로 빠르게 변환하여 개념 증명, 렌즈 리허설, 인터랙티브 디스플레이를 활용할 수 있습니다.
- AR/VR 장면 미리보기: 사진을 탐색 가능한 장면으로 변환하고, 클로즈업 원근법 이동과 몰입감 있는 감상을 제공합니다.
- 3D 에셋 파이프라인 전면: 2D 참조 지도를 렌더링 가능한 근접 3D 표현으로 변환하여 이후 재구성/편집을 위한 초기 형태를 제공합니다.
- 연구 및 평가: 속도, 세부 정보, 안정성 측면에서 다양한 새로운 원근 합성 기법의 성능을 비교하고, 실험 결론을 재현합니다.
5. 생태와 경쟁 제품
1. 생태학적 연결: SHARP의 .ply 출력은 일반적인 3DGS 렌더러와 호환됩니다; 참고로 OpenCV 좌표 규칙(오른쪽으로 x, y, 앞으로 방향)을 사용하며, 서드파티 렌더러에서는 스케일링/회전/무게중심 조정이 필요할 수 있습니다.
- 비교 방향: 프로젝트 페이지는 Gen3C, ViewCrafter, TMPI, Flash3D, LVSM, SVC 등 다양한 관련 방법과 시각적 비디오 비교를 제공합니다. 모델을 선택할 때 보통 세 가지에 중점을 둡니다: 생성 속도(초), 디테일 선명도(구조의 안정성 여부), 그리고 카메라 움직임 중 기하학적 일관성.
6. 제한 및 주의사항
1. 렌더링 트랙의 하드웨어 한계: 3DGS 생성 예측은 CPU/CUDA/MPS와 같은 환경에서 실행될 수 있지만, --render를 통한 비디오 트랙 렌더링은 현재 CUDA GPU가 필요합니다.
- 단일 이미지의 고유한 한계: 강한 반사, 투명 객체, 반복적인 텍스처, 가린 장면의 경우 기하학과 텍스처가 이동하거나 아티팩트가 발생할 수 있으므로, 입력과 결과를 수동으로 필터링하는 것이 권장됩니다.
- 서드파티 렌더링 호환성 세부사항: 뷰어마다 좌표계, 단위 축척, 색상/속성 필드에 대한 관례가 다르므로, 예외를 가져올 때 좌표와 축척 변환을 먼저 확인하세요.
- 라이선스 및 상업적 사용: 코드와 모델 가중치는 서로 다른 라이선스 조건을 채택할 수 있습니다; 제품화나 상업적 사용을 하기 전에 반드시 창고 허가와 LICENSE_MODEL을 꼼꼼히 읽어보세요.
7. 프로젝트 주소
https://github.com/apple/ml-sharp
8. 자주 묻는 질문
Q: ml-sharp(SHARP)에서 출력한 3DGS 파일 형식과 사용법은 무엇인가요?
A: 기본 출력은 3D 가우시안 스플랫 .ply 파일로, 일반적인 3DGS 렌더링/뷰잉 도구에 임포트하여 인터랙티브 브라우징이나 렌더링이 가능합니다.
Q: ml-sharp의 모델 가중치가 자동으로 다운로드되나요? 캐시는 어디에 있나요?
A: 예측의 첫 실행은 기본 체크포인트를 자동으로 다운로드하여 로컬 사용자 디렉터리의 토치 체크포인트 캐시 경로에 캐시합니다; 수동으로 다운로드하고 -c로 지정할 수도 있습니다.
Q: 왜 sharp predict --render로 영상을 렌더링하지 못하거나 오류가 발생하나요?
A: 트랙 비디오 렌더링은 현재 CUDA GPU에 의존하고 있습니다; 만약 환경에 CUDA 툴체인이 없거나 의존성을 충족하지 못한다면, .ply만 빌드하고 다른 렌더러를 사용해 시각화를 완성하는 것이 권장됩니다.
Q: ml-sharp가 Mac(MPS)에서 실행될 수 있나요?
A: 예측(3DGS 생성)은 보통 지원되는 장치 백엔드에서 실행될 수 있지만, 궤적 렌더링은 여전히 CUDA를 기반으로 합니다; 맥에서는 외부 도구로 .ply하고 렌더링할 수 있습니다.
Q: SHARP가 '장거리 장면'에서 자유 이동에 적합한가요?
A: 이 카메라는 '근거리' 원근법 합성과 단거리 카메라 움직임에 더 적합합니다; 큰 변위, 강한 폐쇄, 극심한 시야각 변화는 품질 저하를 초래할 수 있습니다.
