Laut Meta ist SAM 3D die neueste Ergänzung der Segment Anything Collection, die speziell auf das 3D-Verständnis eines einzelnen 2D-Bildes abzielt. SAM 3D besteht aus zwei Modellen: SAM 3D-Objekte zur 3D-Rekonstruktion von Objekten und Szenen, die Möbel, Architektur und Alltagsgegenstände in statischen Bildern in rotierbare und detailreiche 3D-Modelle wiederherstellen können; Der SAM 3D Body ist verantwortlich für die 3D-Haltung und Formabschätzung, erkennt die Skeletthaltung und Körperform des menschlichen Körpers aus einem einzelnen Foto und hält eine stabile Leistung unter Okklusion, extremen Posen und komplexen Perspektiven. Meta sagt, dass beide die aktuellen Werte öffentlicher Benchmarks erfüllen oder aktualisieren, und SAM 3D-Objekte übertreffen bestehende Methoden bei mehreren 3D-Rekonstruktionsaufgaben deutlich. Die
offizielle Pressemitteilung besagt außerdem, dass SAM 3D der Öffentlichkeit ein Online-Erlebnis auf dem Segment Anything Playground eröffnet hat, wo Nutzer Bilder hochladen können, um die 3D-Rekonstruktion zu sehen. Forschung und Entwickler können Modell-Checkpoints und Inferenzcode erhalten und diese mit Metas neuem 3D-Benchmark-Datensatz bewerten; Die spezifischen Nutzungs- und Lizenzbedingungen unterliegen der Beschreibung von Meta im AI Blog und Model Repository. Insgesamt fasst die vom Nutzer bereitgestellte Kopie die Positionierung von SAM 3D und die Kernfunktionen der beiden Untermodelle genau zusammen, ohne nennenswerte Übertreibungen oder Verzerrungen.
FAQ
F: Dieser Abschnitt "Einführung von SAM 3D, der neuesten Ergänzung der SAM-Sammlung..." Ist das wahr?
A: Das stimmt. Die gleiche Kopie erschien auf den offiziellen Threads von Meta AI, X, LinkedIn und anderen Konten und wurde in der SAM 3 / SAM 3D-Pressemitteilung von Meta Newsroom bestätigt, die eine offizielle Veröffentlichung von Meta ist.
F: Welche Modelle sind in SAM 3D enthalten?
A: SAM 3D besteht aus zwei Modellen: SAM 3D-Objekten für die 3D-Rekonstruktion von Objekten und der Gesamtszene sowie SAM 3D-Körper für die 3D-Pose und Formschätzung des menschlichen Körpers, die beide visualisierte 3D-Ergebnisse aus einem einzigen statischen Bild erzeugen können.
F: Worin unterscheidet sich SAM 3D vom früheren Segment Anything?
A: Frühe SAM konzentrierte sich auf das "Segmentieren von Objektpixeln aus Bildern", hauptsächlich auf 2D-Segmentierung und Tracking; SAM 3D vervollständigt die 3D-Geometrierekonstruktion auf dieser Grundlage weiter, sodass das Modell nicht nur das Objekt "umkreisen" kann, sondern auch seine Form und Position im realen Raum ableiten kann.
F: Für welche Szenarien sind SAM 3D-Objekte und SAM 3D-Körper geeignet?
A: SAM 3D Objects eignet sich besser zur Rekonstruktion von Objekten und Innenraumszenen und kann für AR/VR-Asset-Generierung, virtuelle Platzierung, Roboter-Greifen usw. verwendet werden. SAM 3D Body zielt auf die Pose und Körperform der Figur ab und kann auch für Sportanalysen, Motion Capture, Avatar-Fahren und medizinische Forschung verwendet werden.
F: Ist SAM 3D Open Source? Wie nutze ich es für gewöhnliche Entwickler?
A: Meta erklärte in einer Pressemitteilung, dass SAM 3D Modell-Checkpoints und Inferenzcode sowie den neuen 3D-Benchmark-Datensatz bereitstellen wird; Nutzer können es derzeit direkt online über den Segment Anything Playground erleben, und Entwickler können dem Meta AI-Blog und den zugehörigen Modell-Repositories folgen, um sie mit den Nutzungsanweisungen und Lizenzbedingungen zu integrieren.
