Durchbruch beim 3D-Scanning: Forscher erstellen realistische 3D-Modelle aus nur einem 2D-Foto mit Hilfe neuronaler Netzwerke

Die Personalisierung von Computerspielen und Virtual Reality-Anwendungen schreitet immer weiter voran. Anwender haben zunehmend die Möglichkeit sich selbsrt als Avatar in ein Spiel zu integrieren. Dabei helfen 3D-Scans, deren Erstellung aufwendig sein kann. Dem Problem haben sich Forscher der University of Southern California angenommen und ein Verfahren entwickelt, mit dem täuschend echte 3D-Modelle aus nur einem 2D-Foto erzeugt werden können.

Anzeige

Logo University of Southern CaliforniaEinige High-Profile-Spiele wie beispielsweise NBA 2K17 verfügen bereits über eine integrierte 3D-Scanning-Technologie, die es ermöglicht, die Avatare genau wie die Nutzer der Spiele aussehen zu lassen. Dieser Trend wird sich mit fortschreitender Entwicklung der 3D-Scanner immer stärker fortsetzen. Trotz seiner wachsenden Popularität ist das 3D-Scannen aber noch deutlich komplizierter und weniger zugänglich, als die 2D-Fotografie.

Dank eines Forschungsprojektes der University of Southern California scheint es nun aber möglich, ein 2D-Bild in ein außergewöhnlich detaillierteres 3D-Rendering zu übertragen. Dafür nutzen die Forscher tiefe neuronale Netze.

Normalerweise wird für die Gesichtsdarstellung eine Reihe perfekt beleuchteter Bilder aus verschiedenen Blickwinkeln benötigt. Mit Hilfe der komplexen neuronalen Netzwerke und einer umfassenden „Gesichtsdatenbank“ hatten die Forscher jetzt die Möglichkeit, ein äußerst detailliertes 3D-Gesichtsmodell allein auf der Grundlage eines im Winkel aufgenommenen Teilbildes zu erstellen.

Die neuronalen Netze erzeugten dabei das Gesichtsmodell automatisch, indem sie viele mögliche Texturen und Hauttöne filtrierten. Das lässt sich an den 6 Aufnahmen von Muhammad Ali bzw. der erstellten Masken sehr gut erkennen.

Gesichtsmodelle Muhammad Alis
Originalfoto Muhammad Alis und die dazu erzeugten 3D-Modelle. (Bild: © University of Southern California)
Gesichtsrendering
Rendering des Gesichts von Muhammad Ali. (Bild: © University of Southern California)

Eine vollständige fotorealistische Texturabbildung ist durch iteratives Optimieren der rekonstruierten Merkmalskorrelationen möglich. Mit den hochauflösenden Texturen und einem kommerziellen Rendering-Framework lassen sich hochauflösende 3D-Renderings erstellen, die in etwa mit denen vergleichbar sind, wie sie mit hochmodernen Multi-View-Gesichtserkennungssystemen erzielt werden, so die Forscher in ihrer Studie.

Große Potenziale vorausgesagt

Das Potenzial für die neue Gesichts-3D-Modellierung scheint sehr groß und vielfältig zu sein. Die wichtigsten Anwendungen könnten dabei in den Bereichen Online-Gaming und vor allem in der virtuellen Realität liegen. Die Forscher beabsichtigen beispielsweise großformatige 3D-Avatare für Online-VR-Plattformen zu entwickeln. Dafür ist kein langwieriger 3D-Scan von Personen bzw. deren Gesicht notwendig, sondern es würde bereits ein Foto ausreichen.

So ließen sich beispielsweise berühmte Persönlichkeiten aus der Vergangenheit als Avatar abbilden. Oder eben die Klassenkameraden, der Freundeskreis oder die Fussballmannschaft. Gleichzeitig könnten die Avatare auch mit Bildern erzeugt werden, die bereits mehrere Jahre alt sind und ein jugendlicheres Antlitz des Protagonisten zeigen.

Mehr Entwicklungen aus diesem Bereich gibt es auch in Zukunft im kostenlosen Newsletter von 3D-grenzenlos (abonnieren).

Donald Trump Gesichtsmaske
Foto des jungen Donald J. Trump und die auf der Basis dieses Fotos erstellte Gesichtsmaske. (Bild: © University of Southern California)

Mehr News:

Anzeige

TOP 10 verkaufte 3D-Drucker der 21. Kalenderwoche 2019

Platzierung diese WochePlatzierung letzte WocheGerätAktionspreisAktion / GutscheinZum ShopLagerDetailsTestberichtGültig bisRabattierte Stückzahl
1 (+1)2Creality3D – Ender 3161,99 €Flash
Sale
kaufenEU (Fast-23)- Bestes Preis-Leistungs-Verhältnis
- TOPSELLER 2018
lesen31.05.201950
2 (-1)1Alfawise U30158,40 €

GBU30SPL

kaufenEU (Fast-23)- Bestes Preis-Leistungs-Verhältnislesen10.06.2019200
310+Creality3D CR-10S PRO530,40 €

GB3DCRP

kaufenChina31.05.201950
4 (+-0)4Anet A8125,85 €

GB23CC4

kaufenEU (Fast-30)- Beliebter Klassiker15.05.201950
5 (NEU)10+Alfawise C10 Graviermaschine207,00

MBSALF24

kaufenChinaGraviermaschine31.05.2019100
6 (-1)5Alfawise U20251,71 €

GBU20SPL

kaufenEU (Fast-23)- SCHNELLER VERSAND AUS EU!lesen10.06.201950
7 (-1)6Creality3D Ender – 3X180,00 €Flash
Sale
kaufenChina (CN-099)31.05.201950
8 (-1)7-Easythreed Mini108,00 €Flash
Sale
kaufenChina (CN-099)31.05.201950
9 (NEU)10+KOHON KH01320,40 €Flash
Sale
kaufenEU (Fast-23)31.05.201950
109Creality3D CR - 10S386,56 €

GB10S1123

kaufenEU (Fast-23)- Umfangreiche Ausstattunglesen31.05.201950
OUT3Creality3D - Ender 3 PRO207,66 €ABGELAUFENkaufenChina (CN-099)- Steigende NachfrageABGELAUFENABGELAUFEN
OUT8Tronxy X5S – 400323,63 €ABGELAUFENkaufenChina (CN-099)ABGELAUFENABGELAUFEN
OUT9Tevo Flash395,55 €ABGELAUFENkaufenChina (CN-099)ABGELAUFENABGELAUFEN
OUT10Alfawise C10152,82 €ABGELAUFENkaufenChina (CN-099)- Graviermaschine als ideal Ergänzung für jede Makers-WerkstattABGELAUFENABGELAUFEN
OUT-Tronxy X5251,71 €ABGELAUFENkaufenEU (Fast-08)ABGELAUFENABGELAUFEN
OUT-GEEETECH A20M332,62 €ABGELAUFENkaufenChina (CN-099)ABGELAUFENABGELAUFEN
OUT3JGAURORA A5S134,84 €AUSVERKAUFTkaufenChinaABGELAUFENABGELAUFEN
OUT8Anet A6144,73 €ABGELAUFENkaufenEU- Beliebter KlassikerlesenABGELAUFENABGELAUFEN
OUT10JGAURORA A5X332,62 €ABGELAUFENkaufenEUlesenABGELAUFENABGELAUFEN

Gutschein-Code funktioniert nicht? Hier melden | Alle 3D-Drucker-Gutscheine | 3D-Drucker kaufen


Newsletter – 3D-Drucker-News per E-Mail:

Zur Anmeldung und Anmeldeinformationen