Apple hat ein neues KI-Modell entwickelt, das 3D-Objekte aus einem einzigen Foto rekonstruieren kann.
Die Rekonstruktion gelingt dabei inklusive realistischer Licht- und Reflexionseffekte. Bisherige Methoden benötigten meist mehrere Bilder aus verschiedenen Perspektiven. Apples Ansatz namens „LiTo“ (Surface Light Field Tokenization) schafft das mit nur einer Aufnahme und bildet dabei nicht nur die Geometrie, sondern auch lichtabhängige Effekte wie Spiegelungen und Glanzpunkte korrekt ab.
3D-Modelle mithilfe mathematischer Repräsentation
Möglich wird das durch sogenannte Latent Spaces. Dabei werden Objekte nicht direkt gespeichert, sondern als kompakte mathematische Repräsentation. Ein Encoder komprimiert Form und Lichtverhalten in diese abstrakte Darstellung, während ein Decoder daraus wieder ein vollständiges 3D-Modell erzeugt – inklusive realistischer Darstellung aus verschiedenen Blickwinkeln.
Trainiert wurde das System mit Tausenden Objekten, die aus vielen Perspektiven und unter unterschiedlichen Lichtbedingungen gerendert wurden. Statt alle Daten direkt zu nutzen, lernte die KI anhand kleiner Ausschnitte, die Gesamtstruktur und das Verhalten von Licht zu verstehen.
Grundlage für kommende Apple-Software?
Anschließend wurde ein weiteres Modell trainiert, das aus einem einzelnen Bild die passende Repräsentation ableitet. Das Ergebnis: realistisch wirkende 3D-Rekonstruktionen aus minimalen Eingabedaten – und ein möglicher Baustein für AR, 3D-Design und zukünftige Apple-Produkte. Hier könnt ihr einige der Resultate direkt im Browser ansehen und mit unterschiedlichen anderen 3D-Visualisierungen vergleichen.
Hinweis: Artikel enthält Affiliate-Links. Was ist das? Foto: Apple; Header iTopnews