6: Analysing AI Generated Results

6: Análisis de los resultados generados por la IA

Una vez finalizado el preprocesamiento y realizadas las pruebas iniciales con el modelo Gen-3 Alpha de Runway, es hora de analizar los resultados. Este artículo se centra en comparar los resultados de las imágenes diurnas y nocturnas y en explorar cómo los distintos métodos de preprocesamiento afectaron los resultados finales.

A continuación se muestran los resultados que encontré que funcionaron mejor en general. Se necesitaron muchas generaciones para obtener estos resultados y creo que pequeñas iteraciones de avisos y una producción continua podrían generar clips aún mejores.

Imágenes a la luz del día

Imágenes sin editar

El procesamiento de las imágenes sin procesar tomadas a la luz del día arrojó resultados decepcionantes:

  • Representación del color: Los colores parecían tenues y pasteles, sin vitalidad.
  • Pérdida de detalle: pérdida significativa de detalles, especialmente alrededor de la cara.

Los resultados eran planos y carecían de la profundidad necesaria para lograr la estética deseada, lo que confirmó que era necesario corregir el color del metraje.

Metraje corregido en color

La aplicación de corrección de color antes del procesamiento hizo una diferencia notable:

  • Detalles mejorados: rasgos faciales mejorados y detalles generales.
  • Coincidencia de colores: Los colores de los personajes eran mucho más parecidos a la referencia, lo que hizo que el resultado fuera más fiel al metraje original.
  • Problemas de fondo: Los fondos siguieron siendo distintos entre sí, lo que planteó desafíos para combinarlos más adelante.

Los resultados fueron agradables y los colores mejorados contribuyeron a un estilo visual más atractivo.

Metraje corregido con color mejorado con Topaz

Aplicación de Topaz Video AI al metraje con corrección de color:

  • Diferencias mínimas: Los resultados fueron muy similares al paso anterior.
  • Colores ligeramente vivos: un pequeño aumento en la vitalidad del color, pero no significativamente perceptible.

Las mejoras no ofrecieron suficiente diferencia para justificar el tiempo de procesamiento adicional.

Imágenes rotoscopiadas

El procesamiento de las imágenes rotoscopiadas produjo mejoras significativas:

  • Nivel de detalle: aumento sustancial en los detalles del personaje.
  • Consistencia del color: Los colores fueron más consistentes y combinaron bien en las diferentes tomas.

Al aislar al personaje, la IA pudo centrarse en el sujeto principal sin distracciones del fondo, lo que parece ser el enfoque correcto. Esto plantea la pregunta de cómo manejar o generar los fondos en el futuro, lo que presenta una oportunidad creativa interesante.

Imágenes rotoscopiadas con mejora de topacio

Adición de Topaz Video AI al metraje rotoscopiado:

  • Poca diferencia: No hay mejoras significativas con respecto al paso anterior.
  • Capacidades de Runway: RunwayML maneja pequeños defectos en el mate de manera efectiva sin necesidad de mejoras adicionales.

Nuevamente, los beneficios mínimos pueden no justificar el tiempo de procesamiento adicional.

Imágenes nocturnas

Para las imágenes nocturnas, me concentré en procesar las versiones con corrección de color y rotoscopia, ya que probar las imágenes sin procesar se consideró innecesario en función de observaciones anteriores.

Metraje corregido en color

Procesamiento de las imágenes nocturnas con corrección de color:

  • Resultados variados: Los resultados fueron más variados en comparación con las imágenes diurnas.
  • Alteraciones de características: Los rasgos faciales cambiaron notablemente; las sombras a veces se transformaron en elementos no deseados, como barbas.
  • Problemas de coherencia: la IA tuvo dificultades para mantener representaciones coherentes del personaje.

Los resultados fueron menos confiables, lo que indica desafíos con las imágenes nocturnas, posiblemente debido a la iluminación básica con sombras duras y luces apagadas.

Metraje corregido con color mejorado con Topaz

Aplicación de Topaz Video AI a las imágenes nocturnas con corrección de color:

  • Resultados similares: Los resultados fueron muy similares a aquellos sin mejora con Topaz.
  • Calidad del metraje: dado que el metraje original no era de baja calidad ni estaba desenfocado, Topaz no aportó mejoras significativas.

Topaz puede ser más beneficioso para rescatar material de menor calidad en lugar de mejorar material que ya es decente.

Imágenes rotoscopiadas

Procesando las imágenes nocturnas rotoscopiadas:

  • Detalle mejorado: Mejor detalle en el personaje, similar al metraje diurno.
  • Manejo de sombras: La IA no convirtió por error las sombras en características no deseadas.
  • Desafíos de la pantalla verde: es más difícil lograr que RunwayML maneje la pantalla verde, lo que genera posibles problemas que requieren rotoscopia o incrustación adicional.

Si bien hubo mejoras, las imágenes nocturnas presentaron más desafíos que las diurnas.

Imágenes rotoscopiadas con mejora de topacio

Aplicación de Topaz a las imágenes nocturnas rotoscopiadas:

  • Ligero aumento en el detalle: una mejora menor.
  • Problemas de gestión del color: Mantener un color consistente fue difícil y separar completamente la pantalla verde resultó todo un desafío.

Los beneficios no superaron significativamente los inconvenientes.

Conclusiones

Importancia de la corrección del color

  • Consistencia: configurar el contraste, la saturación y la combinación de tomas es crucial para lograr resultados consistentes y de alta calidad.
  • Pruebas futuras: Explorar más a fondo los colores y el contraste podría arrojar resultados aún mejores.

Necesidad de separación de antecedentes

  • Eliminar fondos: puede ser necesario eliminar fondos, especialmente con imágenes nocturnas.
  • Uso de pantalla verde: filmar en una pantalla verde podría simplificar la eliminación del fondo y mejorar el enfoque de la IA en el sujeto.
  • Exploración creativa: Decidir cómo manejar los fondos ofrece oportunidades para el desarrollo narrativo y creativo.

Imágenes diurnas y nocturnas

  • Ventajas durante el día: Las imágenes diurnas proporcionaron resultados mejores y más consistentes, lo que sugiere que es preferible filmar en condiciones de buena iluminación.

La composición de la toma es importante

  • Tomas de primeros planos: Las tomas medias y de primeros planos proporcionaron detalles más intrincados del personaje.
  • Variaciones de procesamiento: procesar el mismo metraje dos veces (una vez enfocándose en el rostro y otra en la toma completa) podría permitir combinarlas para mejorar las expresiones faciales.

Próximos pasos

  • Pruebas adicionales: experimente con primeros planos para ver si mejoran la captura de expresiones y detalles faciales. También puede resultar útil ajustar el color y el contraste.
  • Generación de fondo: explore métodos para generar o incorporar fondos para complementar los personajes rotoscopiados.
  • Refinamiento de la canalización: ajuste la canalización para optimizar la calidad y la eficiencia, posiblemente omitiendo pasos de preprocesamiento innecesarios como la mejora de Topaz, a menos que se trate de material de archivo de baja calidad.

En general, estoy muy impresionado con los resultados. Aunque no son perfectos y necesitarán trabajo adicional para mantener la consistencia y el aspecto profesional que busco, estoy bastante sorprendido por lo poderosa que es la herramienta.

En el próximo artículo, compartiré las pruebas finales y describiré cómo será mi proceso final. Estoy entusiasmado por comenzar el proceso de producción de mi cortometraje y creo que esta investigación desempeñará un papel fundamental en los resultados.

Regresar al blog

Contenido desplegable

Referencias