Investigadores en Universidad de Washington Desarrollaron un nuevo método de aprendizaje profundo que esencialmente crea cinemagrafías de alta calidad de forma automática. El equipo dice que el método puede Mover cualquier material que fluya, incluyendo agua, humo, fuego y nubes.

Los investigadores dicen que el método involucra una red neuronal que necesita ser entrenada para predecir el futuro y animar cómo se verá el estado de la materia que fluye basándose en una sola imagen estática. Pudieron estimar esto entrenando la red neuronal en miles de videos de cascadas, ríos, océanos y otros materiales en movimiento de fluidos. de acuerdo a Universidad de WashingtonEl proceso de entrenamiento consistió en mostrar estos videos a la red y luego pedirles que adivinen el movimiento del video basándose solo en el primer cuadro.

A partir de ahí, la red pudo aprender, basándose en las pistas del contexto de la imagen, cómo se suponía que se vería el movimiento. Su salida se comparó con el video real y la red aprendió lentamente qué esperar de los diferentes estados del material transmitido.

Inicialmente, el equipo intentó utilizar un método conocido como «salpicadura» para animar una imagen, un término que se refiere a mover cada píxel de acuerdo con un movimiento esperado. Desafortunadamente, este método se encontró con un problema.

“Piense en una cascada que fluye”, dijo el autor principal Alexander Hosinski, estudiante de doctorado en la Facultad de Ciencias e Ingeniería de Computación Paul G. Allen. «Si simplemente mueves los píxeles al fondo de la cascada, después de algunos fotogramas del video, ¡no tendrás píxeles en la parte superior!»

Para abordar este problema, los investigadores idearon lo que ellos llaman «pulverización simétrica», un método que esencialmente predice el futuro de una imagen pasada y la combina en una sola animación.

«Mirando hacia atrás en el ejemplo de la cascada, si pasamos, los píxeles se moverán hacia arriba en la cascada. Entonces comenzaremos a ver un agujero cerca del fondo», dijo Hołyński. «Combinamos la información de cada una de estas animaciones para que nunca haya grandes lagunas en nuestras imágenes distorsionadas».

A partir de ahí, los investigadores diseñaron el sistema para crear un bucle limpio y simple que permitiría que la imagen fija en movimiento se moviera infinitamente. El método funciona mejor para objetos que tienen un movimiento fluido predecible.

El método actual no comprende completamente cómo predecir los reflejos en el agua en movimiento o cómo el agua puede distorsionar los objetos debajo de la superficie. Sin embargo, estos son los mismos problemas que afectaron a los primeros segmentos del cine. Sin embargo, la diferencia aquí parece ser que el estado del movimiento del agua es más creíble de lo que se puede crear con herramientas de software como أدوات. Flexel.

«Cuando vemos una cascada, sabemos cómo debe comportarse el agua. Lo mismo ocurre con el fuego o el humo. Este tipo de movimientos se rigen por el mismo conjunto de leyes físicas, y generalmente hay señales en la imagen que nos dicen cómo las cosas deberían moverse ”, dice Hołyński. «Nos gustaría expandir nuestro trabajo a una gama más amplia de cosas, como mover el cabello de una persona al viento. Espero que las fotos que compartimos con nuestros amigos y familiares no sean fotos estáticas al final. Todas serán animaciones dinámicas como las que produce nuestro método «.

Comparte el equipo Varios ejemplos de diferentes fluidos que se mueven utilizando un nuevo algoritmo de aprendizaje profundo, y la principal diferencia entre sus resultados y los brotes cinematográficos no solo es una mejor expresión de movimiento sino una menor conciencia del tiempo de repetición de la animación El equipo no ha dejado en claro qué pretenden hacer con la tecnología, pero te ofrecerán el enfoque En el Conferencia sobre visión artificial y reconocimiento de patrones El 22 de junio.