Key takeaways
- Nvidia visade nyligen upp en teknik som förvandlar 2D-foton till 3D-scener på bara några sekunder.
- Metoden använder datorkraft för att uppskatta hur ljus beter sig i den verkliga världen.
- Metaversen är ett område där 3D-scener är användbara eftersom de kan ses från vilket kameraperspektiv som helst.
Ny artificiell intelligens (AI)-teknik från Nvidia kan snart förvandla 2D-foton till 3D-scener på bara några sekunder, vilket gör skapandet av uppslukande virtuella utrymmen som metaversen lika trivi alt som ordbehandling.
Nvidia demonstrerade nyligen fotometoden som kallas Instant NeRF, som använder datorkraft för att uppskatta hur ljus beter sig i den verkliga världen. Den kan förvandla dina gamla foton till en tv-spelsscen, eller så kan den användas för att träna robotar och självkörande bilar för att förstå storleken och formen på verkliga objekt.
"3D-bildbehandling ger en ny värld av transformation", sa Oren Debbi, VD för Visionary.ai, ett datorvisionföretag som kör sina 3D-algoritmer på Nvidia-plattformen, till Lifewire i en e-postintervju. "Med hjälp av 3D efterliknar du verkligt djup i scenen och får bilden att framstå som mer levande och realistisk. Förutom AR/VR och industriella kameror, där 3D är mycket vanligt, ser vi nu att det används på nästan alla smartphones utan användaren till och med vet."
Lägga till dimensioner
Den första ögonblicksbilden, tagen för 75 år sedan med en polaroidkamera, syftade till att snabbt fånga 3D-världen i en 2D-bild. Nu arbetar AI-forskare med motsatsen: att förvandla en samling stillbilder till en digital 3D-scen på några sekunder.
Känd som invers rendering, använder processen AI för att uppskatta hur ljus beter sig i den verkliga världen, vilket gör det möjligt för forskare att rekonstruera en 3D-scen från en handfull 2D-bilder tagna i olika vinklar. Nvidia hävdar att de har utvecklat ett tillvägagångssätt som klarar denna uppgift nästan omedelbart.
Nvidia använde detta tillvägagångssätt med en ny teknik som kallas neurala strålningsfält, eller NeRF. Företaget säger att resultatet, kallat Instant NeRF, är den snabbaste NeRF-tekniken hittills. Modellen kräver bara sekunder för att träna på några dussin stillbilder och kan sedan återge den resulterande 3D-scenen inom tiotals millisekunder.
"Om traditionella 3D-representationer som polygonala nät är besläktade med vektorbilder, är NeRFs som bitmappsbilder: de fångar tätt hur ljus strålar ut från ett objekt eller inom en scen", David Luebke, vice VD för grafisk forskning på Nvidia, sa i ett pressmeddelande: "I den meningen kan Instant NeRF vara lika viktig för 3D som digitalkameror och JPEG-komprimering har varit för 2D-fotografering, vilket avsevärt ökar hastigheten, enkelheten och räckvidden för 3D-infångning och delning.”
Insamling av data för att mata en NeRF kräver att det neurala nätverket tar några dussin bilder tagna från flera positioner runt scenen, såväl som kamerapositionen för var och en av dessa bilder.
NeRF tränar ett litet neur alt nätverk för att rekonstruera scenen genom att förutsäga färgen på ljus som strålar ut i vilken riktning som helst, från vilken punkt som helst i 3D-rymden.
The Appeal of 3D
Metaversen är ett område där 3D-scener är användbara eftersom de kan ses från vilket kameraperspektiv som helst, sa Brad Quinton, grundare av Perceptus Platform for augmented reality (AR), till Lifewire i en e-postintervju. Precis som vi kan gå genom ett rum i verkligheten och se dess innehåll från många olika vinklar, med en rekonstruerad 3D-scen, kan vi praktiskt taget röra oss genom ett utrymme och se det från vilket perspektiv som helst.
"Detta kan vara särskilt användbart för att skapa miljöer för användning i virtuell verklighet", sa Quinton.
Program som Apples Object Capture använder en teknik som kallas fotogrammetri för att skapa virtuella 3D-objekt från en serie 2D-bilder. 3D-modellerna kommer att användas flitigt i virtuell verklighet och AR-applikationer, förutspådde Quinton. Till exempel använder vissa AI:er, som den i Perceptus AR-plattformen, 3D-modeller för att skapa en förståelse för den verkliga världen, vilket möjliggör AR-applikationer i re altid.
Användningen av 3D-bilder efterliknar också verkligt djup i en scen och får bilden att framstå som mer levande och realistisk, sa Debbi. För att skapa en Bokeh-effekt (aka porträttläge eller filmläge) är 3D-djupkartläggning nödvändig. Tekniken används på nästan alla smartphones.
"Detta är redan standarden för professionella videografer som filmar filmer, och detta håller på att bli standarden för varje konsument", tillade Debbi.
