No siempre sale bien: una 'app' experimental para borrar coches en un vídeo acaba en un error tipo 'Matrix'
En Matrix, aquella película firmada por las hermanas Wachowski y que se estrenó en 1999, la realidad era un programa informático que corría sobre el mundo real. Es lo mismo que ocurre en un ordenador, solo que al revés. Si alguien modificaba el código del programa en tiempo real, los que estaban dentro de Matrix podían llegar a apreciarlo; ya fuera en forma de déjà vu o de espasmos de código repentino. La idea del programador Chris Harris nada tiene que ver con la película, pero el resultado de llevarla a cabo sí recuerda a lo que pasa en la cinta.
“El futuro de las ciudades es un buen transporte público, bicicletas y calles peatonales. No veo la necesidad del uso regular de coches dentro de ciudades densamente pobladas”, se presenta Harris en su blog. Ha desarrollado una app, combinando dos tipos de redes neuronales, que hace desaparecer todos los coches que aparezcan en un vídeo. O al menos lo intenta.
Y es que el resultado de su experimento no ha sido todo lo bueno que debería. Al ver el vídeo que el mismo Harris subió desde su cuenta de Twitter, los coches parece que sean un puñado de ceros y unos intentando permanecer en nuestra realidad mientras alguien lucha por desconectar el sistema. Parece ciencia ficción, pero la app es real y el programador ha prometido que trabajará en mejorarla.
David Copperfield lo hacía mejor
Para crear la app, Harris ha utilizado dos redes neuronales ya existentes, adaptando el código de ambas y generando uno propio: usó el mismo repositorio que utilizan los coches autónomos para detectar a otros vehículos, borrándolos después con el código que en 2018 subieron a GitHub tres investigadores y que permite eliminar casi cualquier elemento de una fotografía sin dejar marca.
Este segundo repositorio es el que incorporó Adobe a uno de sus programas estrella, After Effects, en marzo. Seleccionando un área determinada de la fotografía, el software es capaz de borrar ese objeto y sustituirlo por un fondo muy similar al del resto de la imagen. Harris, de momento, ha conseguido aplicar su algoritmo a los vídeos que tienen hasta 2 fps (cuadros por segundo) y asegura que hacerlo para aquellos que se emitan en directo es solo cuestión de tiempo. Pero antes tendrá que mejorarlo.
El programador no entra en muchos más detalles acerca de cómo funciona su app, pero podemos supone que, mientras una red neuronal se encarga de detectar los coches, la otra va recreando los elementos del entorno que rodean al vehículo, haciéndolo “desaparecer”. Por eso en el vídeo se pueden apreciar arbustos, farolas y asfalto en los lugares donde debería de haber coches. No es que el invento de Harris borre de un plumazo los coches, sino que los intercambia por el paisaje que les rodea. David Copperfield lo hacía mejor.
“Cuando aparecen los coches contribuyendo al efecto glitch, en realidad se trata del modelo, que no los reconoce lo suficientemente bien, ya que actualmente lo hace fotograma a fotograma”, explica Harris. Un glitch no es otra cosa que un error, y en los últimos años son muchos los proyectos audiovisuales que intentan imitar ese efecto, como de distorsión del vídeo y sobrecarga de píxeles. Exactamente lo mismo que les pasa a los coches del vídeo de Harris.
Combinando la realidad aumentada y la virtual
La idea le surgió a raíz del tuit que la activista contra el cambio climático Christine Lariviere publicó el pasado 16 de abril. “Se busca: una aplicación de realidad aumentada que cree una capa de ciudad sostenible sobre la que tenemos, por ejemplo, una fuerte ecologización urbana, una mayor infraestructura para bicicletas, paneles solares e INSECTOS”. Tras meditarlo un poco, decidió ponerse manos a la obra con la app.
Para llevar a cabo el proyecto, Harris reconoce que se fijó en el proyecto que el ruso Michail Rybakov presentó en septiembre del año pasado. Titulado Inteligencia Artificial borrando cuerpos humanos, Rybakov, también con redes neuronales, consiguió hacer desaparecer a una persona ante una cámara. El proyecto puede consultarse en el blog del artista digital.
Cuando la realidad virtual se combina con la realidad aumentada tenemos lo que se conoce como realidad mixta. En los últimos años se han hecho grandes avances en este campo. En septiembre del 2017, durante la presentación del iPhone X, Apple presentó su ARKit, una herramienta pensada para desarrolladores con múltiples usos: ¿Necesita un nuevo escritorio para el salón? Colóquelo allí con el teléfono móvil a través de la app de IKEA; ¿Se siente solo? Pruebe con una mascota virtual que le haga compañía. E incluso si piensa en comprar un coche nuevo, la realidad aumentada estará ahí para ayudarle a decidir.
