Skip to content
Berrikuntza AtxuriFP

COMPARTIR: Entornos inmersivos Gaussian Splatting en FP

El proyecto COMPARTIR introduce la tecnología Gaussian Splatting en la Formación Profesional para generar réplicas 3D fotorrealistas e interactivas de espacios y proyectos técnicos.

A través de retos intermodulares, el alumnado ha digitalizado maquinaria de taller, prototipos de empresa, comercios tradicionales del Casco Viejo de Bilbao y el vehículo eléctrico del proyecto Greenpower, transformando sus experiencias prácticas en recursos didácticos transferibles.

Proyecto en red subvencionado por la Convocatoria de Ayudas Dualiza (CaixaBank Dualiza y FPEmpresa).

Contacto del proyecto 📧

Alumnado trabajando con Gaussian Splatting
Centros participantes
CIFP EMILIO CAMPUZANO LHIICIFP POLITECNICO DE MURCIACIFP ANDRA MARI LHIICAIXABANK DUALIZAFP EMPRESA

Desarrollo del proyecto

El trabajo se estructuró mediante retos basados en la metodología ETHAZI, donde los grupos de estudiantes actuaron como consultoras técnicas de digitalización inmersiva:

  1. Puesta a punto del equipamiento: Configuración de cámaras fotográficas, dron para vuelos de interior/exterior y habilitación de un servidores remotos para el entrenamiento de escenas.
  2. Formación técnica: Sesiones con el profesorado y alumnado para dominar los principios de captura y renderizado.
  3. Trabajo de campo: Visitas técnicas a los comercios asociados de Zazpikaleak, sesiones de escaneo del vehículo Greenpower y capturas en los talleres de electrónica y edificación.
  4. Procesado y reconstrucción 3D: Generación de nubes densas de Gaussian Splatting a partir de vídeo y fotografía mediante herramientas como Postshot y Lixel CyberColor.
  5. Edición y optimización: Limpieza de artefactos y recorte de fondos con SuperSplat para aligerar la carga en navegadores web y visores móviles.
  6. Entrega y publicación: Presentación de los modelos funcionales a los comerciantes y subida de los recursos a los repositorios.

Resultados: modelos interactivos

Puedes navegar directamente por algunos de los espacios y prototipos digitalizados durante el proyecto:

Comercio local: Farmacia Tendería Tour inmersivo 3D del interior de la farmacia en el Casco Viejo de Bilbao.
Comercio local: Ultramarinos Gregorio Martín Espacio comercial histórico digitalizado mediante cámara mirrorless.
Comercio local: Tienda Olañeta Recorrido interactivo de la tienda de moda y complementos.
Galería de arte: Carré d'artistes Captura de la galería de arte y exposición en Zazpikaleak.
Gemelo digital: Coche eléctrico Greenpower Modelo 3D desarrollado en colaboración con el Aula de Aprendizaje de Tareas.
Proyecto FlexArm: Escaneo de un objeto con Cobot Automatización de capturas 3D usando un brazo robótico colaborativo.
Proyecto en clase: escaneo de una placa electrónica Escaneo de un objeto pequeño.

Ejes de impacto del proyecto

Comercio de proximidad

Colaboración con la Asociación Zazpikaleak para digitalizar cuatro micropymes locales, dotándolas de réplicas 3D navegables que visibilizan su actividad frente al comercio online.

Inclusión educativa

El alumnado del Aula de Aprendizaje de Tareas (AAT) de CIFP Andra Mari lideró la creación del gemelo digital del monoplaza Greenpower, visibilizando su trabajo técnico en eventos públicos.

Cultura emprendedora e Ikasenpresa

Uso de réplicas inmersivas como catálogo y escaparate para proyectos de simulación de empresa, destacando iniciativas como el prototipo FlexArm para capturas industriales automatizadas.

Capacitación curricular

Integración formal del flujo de Gaussian Splatting en el módulo de Digitalización Aplicada de los ciclos implicados, dejando infraestructuras y materiales listos para próximos cursos.

Resumen del proyecto en vídeo

Video resumen del proyecto Video resumen del proyecto

Caja de herramientas

Sitio web: jawset.com

Software de escritorio GPU dedicada

Herramienta comercial (en beta gratuita) que permite procesar directamente secuencias de vídeo o bloques de fotos mediante Structure-from-Motion y renderizado de Gaussian Splatting en tiempos muy reducidos.

¿Qué es Gaussian Splatting?

A diferencia de la fotogrametría tradicional (que reconstruye mallas poligonales con mapas de texturas) o de los modelos NeRF (que codifican la escena dentro de los pesos de una red neuronal), 3D Gaussian Splatting (3DGS) representa el entorno mediante millones de elipsoides 3D semitransparentes distribuidos en el espacio tridimensional.

Cada una de estas gaussianas almacena de forma explícita un conjunto de propiedades físicas y ópticas:

  • Posición ($x, y, z$): Coordenadas del centroide del elipsoide en el espacio.
  • Covarianza tridimensional (Escala y Rotación): Determina el tamaño del elipsoide en sus tres ejes y su orientación espacial, representada matemáticamente mediante matrices de rotación o cuaterniones.
  • Opacidad ($\alpha$): Grado de transparencia de la partícula, lo que permite transiciones suaves y solapamientos entre elementos sin generar cortes geométricos duros.
  • Color direccional (Armónicos Esféricos): Modela cómo cambia el color y el brillo en función del ángulo de observación, permitiendo capturar reflejos metálicos, brillos especulares y transparencias complejas.

Flujo técnico: cómo se generan los modelos

El flujo de trabajo desde la toma física hasta la visualización en el navegador sigue cuatro fases técnicas bien delimitadas:

  1. Captura visual y preparación de datos
    Se realiza una grabación de vídeo continuo en alta resolución o una serie de fotografías estáticas orbitando el objeto o recorriendo la estancia. Para garantizar la convergencia del algoritmo, se mantiene un solape visual mínimo del 70-80% entre fotogramas consecutivos, manteniendo el enfoque, la velocidad de obturación y el balance de blancos bloqueados en modo manual para evitar variaciones lumínicas artificiales.

  2. Cálculo de cámaras y nube dispersa (Structure from Motion - SfM)
    Mediante algoritmos de visión por computador (como COLMAP o los motores integrados en Postshot y Lixel), se identifican puntos de interés comunes entre las imágenes. A través de triangulación geométrica, el sistema calcula la posición y orientación tridimensional exacta de la cámara en cada toma y produce una nube de puntos dispersa inicial (sparse point cloud).

  3. Entrenamiento y optimización adaptativa
    A partir de esa nube dispersa, se inicializa una gaussiana en cada punto y comienza un proceso iterativo de optimización por descenso de gradiente estocástico:

    • Proyección: Las partículas se proyectan sobre las vistas de las cámaras conocidas.
    • Cálculo de pérdida fotométrica: Se compara la imagen sintética generada frente a la fotografía real original (evaluando diferencias con métricas como $L_1$ y D-SSIM).
    • Densificación y poda (pruning): El optimizador ajusta la forma, color y posición de cada gaussiana. Si un área contiene poco detalle o error alto, clona o divide las gaussianas; si una gaussiana tiene una opacidad residual prácticamente transparente, se elimina para ahorrar memoria.

  4. Rasterizado por teselas y visualización web
    Una vez entrenado el modelo, se exporta en ficheros estándar estructurados (.ply o .splat). Los visualizadores web modernos utilizan un rasterizador acelerado por GPU (tile-based rasterizer) que ordena las gaussianas por profundidad respecto a la cámara del usuario y las proyecta en pantalla a más de 60 FPS, permitiendo navegar por la escena en tiempo real desde ordenadores, móviles o visores de realidad virtual sin requerir un motor de render pesado.

Comparativa técnica: 3DGS vs alternativas

Fotogrametría clásica

  • Estructura: Malla poligonal (triángulos) + texturas 2D.
  • Limitaciones: Dificultad para reconstruir objetos delgados (cables, rejillas), superficies sin textura o reflejos dinámicos.
  • Rendimiento: Escenas complejas generan mallas con millones de polígonos pesadas de mover en entornos web.

NeRF (Neural Radiance Fields)

  • Estructura: Red neuronal densa tipo MLP (Multi-Layer Perceptron).
  • Limitaciones: Entrenamiento lento (requiere horas de GPU) y renderizado exigente basado en muestreo de rayos (ray marching).
  • Rendimiento: Muy difícil de ejecutar en tiempo real a 60 FPS en dispositivos móviles o navegadores web estándar.

Gaussian Splatting (3DGS)

  • Estructura: Millones de elipsoides explícitos en el espacio 3D.
  • Ventajas clave: Tiempos de entrenamiento cortos (minutos a pocas horas) y renderizado directo optimizado por GPU.
  • Rendimiento: Ideal para recorridos web interactivos, portátiles educativos y gafas VR con bajo consumo de recursos.