4: Preprocesamiento con Roto Brush y Topaz Video AI

¿Por qué empezar con estas herramientas?

Elegí comenzar con Roto Brush 2 y Topaz Video AI porque son accesibles, están bien documentados y se integran sin problemas con mi flujo de trabajo existente. Al comenzar con estos, puedo evaluar rápidamente su impacto antes de considerar opciones más avanzadas o que consumen muchos recursos, como Boris FX Silhouette, o profundizar en la configuración de Topaz.

Experimentando con Adobe After Effects Roto Brush 2

Roto Brush 2 está diseñado para simplificar el proceso de rotoscopia al permitir a los usuarios separar fácilmente los elementos del primer plano de los del fondo. Esta separación podría ser crucial al aplicar modelos de IA generativa, ya que puede ayudar a los modelos a centrarse en los sujetos principales sin distracciones del fondo.

Observaciones iniciales

• Fácil de usar: Roto Brush 2 resultó ser bastante fácil de usar. Con solo unos pocos clics y un poco de refinamiento, pude aislar con éxito al personaje principal en la primera toma.

• Desafíos con escenas complejas: La segunda toma presentó más dificultades. Los puntos destacados del sujeto causaron algunos problemas y se perdieron ciertas áreas durante el proceso de rotoscopia.

• Manejo del cabello: los personajes sin cabello o con peinados simples fueron más fáciles de procesar. El cabello complejo, especialmente al interactuar con la luz, planteó un desafío.
• Artefactos de luz y efecto bokeh: las escenas con artefactos de luz, como los efectos bokeh, confundían la rotoscopia automática. La herramienta a veces malinterpretaba estos destellos como parte del sujeto, lo que requería correcciones manuales adicionales.

Una consideración importante es cómo las imperfecciones en la máscara creada por Roto Brush 2 podrían afectar a la herramienta de IA posterior. El éxito del modelo generativo puede depender de su capacidad para manejar o compensar estas imperfecciones. Este será un punto clave de análisis en la siguiente fase de pruebas.

Experimentando con Topaz Video AI

Topaz Video AI es una herramienta poderosa para mejorar la calidad del video y ofrece funciones como escalado, reducción del desenfoque de movimiento y reducción de ruido. Quiero ver si el preprocesamiento del metraje con Topaz puede brindar mejores datos para el modelo de IA generativa.

Observaciones iniciales

• Mejora de la calidad: el software fue eficaz para recuperar detalles del metraje, especialmente en áreas afectadas por el desenfoque de movimiento.

• Demanda de recursos del sistema: un inconveniente importante fue la carga que suponía para mi sistema informático. Procesar imágenes de alta resolución con Topaz consumía muchos recursos y mucho tiempo. En promedio, un clip de 5 segundos tardaba más de cinco minutos en procesarse.

Cómo decidir cuándo utilizar topacio

Dadas las demandas de recursos, planeo limitar el uso de Topaz Video AI a material específico donde más se necesita mejorar la calidad, como:

• Imágenes diurnas y nocturnas: escenas filmadas en distintas condiciones de iluminación que pueden beneficiarse de la reducción de ruido y la mejora de los detalles.
• Imágenes con desenfoque de movimiento: clips en los que el desenfoque de movimiento afecta significativamente la claridad del sujeto.

Además, estoy considerando si es más efectivo aplicar el procesamiento Topaz antes o después de la composición con pantalla verde. Esto será parte del próximo conjunto de experimentos.

Principales conclusiones hasta el momento

• Eficacia de Roto Brush 2: si bien no es perfecto, Roto Brush 2 ofrece una forma relativamente rápida de separar los sujetos del fondo. Sin embargo, los elementos complejos, como el cabello y los artefactos de luz, requieren trabajo manual adicional.
• Impacto en el flujo de trabajo: el tiempo que se ahorra al usar Roto Brush 2 en comparación con la rotoscopia manual es sustancial, pero la desventaja está en la calidad del mate, lo que puede afectar el procesamiento de IA más adelante.
• Ventajas y desventajas de Topaz Video AI: mejora significativa en la calidad de la imagen y la recuperación de detalles, lo que podría mejorar el rendimiento del modelo de IA generativa. Sin embargo, la alta demanda de recursos del sistema y el mayor tiempo de procesamiento limitan potencialmente su uso en la cadena de producción.