NeRF sare neuronaletan oinarritutako Inteligentzia Artifizialeko teknologien aplikazioa Kultura Esparruan
Proiektuak NeRF (Neural Radiance Fields) teknologia aztertuko du kulturaren eta turismoaren esparruan. Inteligentzi Artifizialean oinarritutako teknologia honi esker, 3D bistaratze ultrarrealistak eta interaktiboak sor daitezke argazkietatik abiatuta, kultura-espazioen esplorazio birtuala ahalbidetuz. Athletic Club, BizkaiKOA eta Euskalduna bezalako kolaboratzaileak ditu proiektuak. Proiektuaren helburua da teknologia hau hezkuntza-kurriculumean txertatzea, bereziki zerbitzu Soziokulturalen familian, gaitasun digitalen prestakuntza hobetuz.
Proiektuaren helburu nagusia sektore kultural eta turistikoarekin lotutako 3D ingurune errealista eta murgiltzaileak garatzea da.
Helburu hori ahalbidetuko duen lan-fluxu bat ezartzeko, urrats hauek egin ditugu:
Eskuragarri dauden NeRF eta Gaussian Splatting teknologiak ebaluatu.
Eskuragarri dauden NeRF eta Gaussian Splatting tresnak aztertu. Puntu honetan Gaussian Splattin lehenetsi dugu NeRF-en aurretik, gaur egun aplikazio askoz zabalagoak eskaintzen baititu.
Lehen 3D prototipoak lortzeko lan-fluxu bat definitu (irudien harrapaketa, prozesamendua, entrenamendua, post-prozesamendua, bistaratzea). Puntu honetan kamera ezberdinak frogatu dira, mugikorrak vs argazki kamerak, bideo bidezko kaptura vs argazkiak.
Enpresa eta erakunde languntzaileekin lankidetzan, prototipoak enpresen eremura hedatu dira, hainbat emaitza interesgarri lortuz.
360 kamerarekin frogak egin dira, lan fluxe berri bat definituz.
Tutorialen sorketa eta proiektuaren dokumentazioa.
NeRF eta Gaussian Splatting: helburu berbera baina bi teknologia ezberdin
Bi teknologiak irudietatik abiatuta 3D eszenak sortzeko erabiltzen diren arren (fotogrametriaren eboluzio bezala), funtsezko desberdintasunak dituzte irudikapenean, errenderizazioan eta errendimenduan.
NeRF (Neural Radiance Fields) teknologiak adimen artifizialean oinarritutako sare neuronalak (MLP) erabiltzen ditu eszena irudikapena kodetzeko. Sare neuronal honek angelu jakin batetik begiratuta, eszenako puntu bakoitzak izan behar duen kolorea eta dentsitatea iragartzen ditu ray marching bezalako teknikak erabiliz.
Gaussian Splatting (GSplat) teknologiak, aldiz, eszena milioika 3D eremu gaussiar metatuta modelatzen du. Eremu gaussiar hauek posizioa, errotazioa, eskala, opakutasuna eta kolorea bezalako informazio gordetzen dute eta irudia sortzeko eremu hauen 2D proiekzioak (“splatting”) sortuz eratzen dira.
Hona hemen bi teknologien arteko laburpen konparatiboa:
NeRF (Neural Radiance Fields)
Indargune nagusia:
Kalitate eta geometria konplexuak: Oso errealistak diren emaitzak lor ditzake, batez ere ikuspuntuaren mendekoak diren efektuetan (ispiluen islak esaterako). Geometria konplexuak irudikatzeko gai da.
Desabantailak:
Entrenamendu motela: Sare neuronala entrenatzeak denbora eta konputazio-baliabide asko eskatzen ditu (GPU orduak edo egunak).
Errenderizazio motela: Irudi berriak sortzeko sare neuronala hainbat aldiz ebaluatu behar da izpi bakoitzeko, denbora errealeko aplikazioak zailduz.
Editagarritasun zaila: 3D modeloa sare neuronal konkretu batetan oinarrituta dagoenez, editatzea zaila da.
Gaussian Splatting (GSplat)
Indargune nagusiak:
Entrenamendu azkarra: NeRF baino askoz azkarrago entrenatzen da (minutuak edo ordu gutxi batzuk).
Errenderizazio oso azkarra: Denbora errealeko aplikazioak garatzeko ideala.
Kalitate handia: NeRFen pareko kalitatea lortzen da.
Editagarritasuna: Gaussiarrak objektu esplizituak direnez, printzipioz errazago manipulatu, gehitu edo ezabatu daitezke (konplexutasuna duen arren).
Desabantailak:
Biltegiratze handiagoa: Ereduaren fitxategiak NeRF baino handiagoak izan daitezke, milioika parametro gorde behar baitira.
Artefaktuak eta ikuspuntuaren mendeko efektuak: Modeloaren kalitatearen arabera, zenbait efektu ez-desiragarri agertu daitezke.
Gaur egun, Gaussian Splatting aplikazioek abantaila hartu dute NeRF teknologiaren aurrean, entrenamendua sinpleagoa delako eta batez ere denbora errealeko errenderizazioa askoz azkarragoa delako. Gaussian Splatting teknika erabilita 3D espazio konplexuak telefono mugikorretan edo VR betaurrekoetan erreproduzitu ditzakegu arazo larregi gabe. Horrek esperientzia interaktiboetarako eta aplikazio praktiko azkarretarako aukera ezin hobea bihurtzen du.
Kode irekiko framework indartsua da, NeRF zein Gaussian Splatting ereduak sortzeko eta ikertzeko aukera ematen duena. GSplat liburutegian oinarritutako Gaussian Splatting eredu desberdinak eskaintzen ditu (splatfacto, splatfacto-big), kalitate/abiadura beharretara egokituz.
Beta irekian dagoen aplikazio komertziala da, momentuz doakoa. Erabiltzeko oso erraza da NerfStudiorekin alderatuta. Interfaze grafiko baten bidez, Gaussian Splatting ereduak sortzeko prozesua nabarmen sinplifikatzen du. Zuzenean sartu ahal zaizkio irudiak edo bideoak.
Gaussian Splatting ereduak editatzeko eta eszena murgiltzaileak sortzeko tresna berri eta interesgarria da. Splatak manipulatzeko, ezabatzeko edo propietateak aldatzeko aukera ematen du, 3D edizio tradizionaletik hurbilago dagoen esperientzia eskainiz.
Kode irekiko eta doako tresna da Structure-from-Motion (SfM) eta Multi-View Stereo (MVS) egiteko. Kameren posizioak kalkulatzeko alternatiba bikaina da, bereziki kode irekiko lan-fluxuak nahiago direnean.
Fotogrametriako software komertziala da, kameren posizioak zehaztasun handiz kalkulatzeko (camera alignment) oso erabilia industrian. NeRF/GSplat prozesuaren aurretiko urrats kritikoa izaten da maiz.
