Vision artificial avanzada

Physics-Aware Video Generation

Proyecto de investigacion aplicada para alinear modelos de generacion de video con restricciones fisicas usando optical flow, LoRA y perdidas diferenciables de simetria galileana.

Que se realizo

Dataset fisico sintetico

Se genero un conjunto de videos con escenarios como caida libre, tiro parabolico, pendulo y rebotes, incluyendo transformaciones de boost y rotacion.

Optical flow como sensor

Se integro RAFT para estimar velocidades y aceleraciones desde pixeles, permitiendo medir dinamica del video dentro del loop de entrenamiento.

Fine-tuning fisico

Se adapto SANA-Video 2B con LoRA y perdidas de equivarianza para orientar la generacion hacia trayectorias fisicamente mas coherentes.

Diseno tecnico

  • Simulador propio para generar videos y posiciones ground truth de escenarios mecanicos.
  • Extraccion de cinematica con RAFT, suavizado temporal y aceleracion por diferencias finitas.
  • Perdidas de boost, rotacion y jerk para imponer simetrias sin supervisar directamente masa o fuerza.
  • Fine-tuning con LoRA rank 16 sobre SANA-Video 2B para entrenar una fraccion pequena de parametros.
  • Estrategia de evaluacion con trayectoria MAE y auditoria contra reward hacking usando centroid tracking.

Por que es interesante

Fisica sin etiquetas completas

El metodo usa simetrias del movimiento en vez de exigir conocer masa, energia o fuerzas del objeto en escena.

IA generativa + vision

Combina video diffusion, optical flow, entrenamiento diferenciable y evaluacion cuantitativa de movimiento.

Escalable a video real

El enfoque puede extenderse a datasets reales porque las perdidas de simetria no dependen de etiquetas de trayectoria.

Tecnologias

PythonPyTorchSANA-Video 2BLoRARAFTOptical FlowVideo diffusionGCP L4