5: Introducción a RunwayML

Modelos Gen-3 de Runway

Runway ofrece dos versiones de su modelo Gen-3: Gen-3 Alpha y Gen-3 Alpha Turbo . El modelo Alpha Turbo consume menos recursos, lo que da como resultado tiempos de generación más rápidos y menores costos de crédito. Sin embargo, puede producir resultados ligeramente menos detallados en comparación con el modelo Alpha estándar.

Después de hacer algunas pruebas rápidas, me di cuenta de que los resultados de Gen-3 Alpha eran mucho más precisos en cuanto a cercanía con el material original.

Al probar el otro modelo, los resultados tendieron a ser muy estilizados y las características del personaje estaban muy modificadas.

Preparando el metraje

Me estoy centrando en dos clips específicos para esta fase de prueba inicial:

• Clip 1: Toma diurna con iluminación natural.

• Clip 2: Toma nocturna con iluminación artificial.

Ambos clips tienen tres tomas de 5 segundos de duración cada una, en línea con las recomendaciones de Runway para optimizar el uso de los créditos y el tiempo de procesamiento. Al usar estas dos escenas contrastantes, mi objetivo es evaluar cómo las condiciones de iluminación afectan los resultados de la IA generativa.

Elaboración del mensaje

El mensaje cumple un papel importante a la hora de guiar a la IA para que produzca el estilo deseado. Después de experimentar un poco, me decidí por el siguiente mensaje para mantener la coherencia en todas las pruebas:

"Animación de estilo rotoscópico que captura expresiones faciales intrincadas y colores vibrantes y fieles a la realidad. Los contornos detallados en tinta gruesa y el sombreado dinámico de celdas crean profundidad y conservan una estructura audaz en todo el dibujo".

Este mensaje tiene como objetivo replicar un efecto de animación rotoscopio, enfatizando expresiones detalladas y colores vibrantes, con contornos de tinta gruesos y sombreado de celdas para agregar profundidad y estructura.

Comprender las semillas y la transformación de la estructura

Semillas: en los modelos generativos, una semilla es un punto de partida para el generador de números aleatorios que influye en el resultado. Al utilizar una semilla fija, puede reproducir resultados consistentes en diferentes ejecuciones. Descubrí que la semilla 2929140811 arrojó resultados satisfactorios con el primer clip, por lo que la utilizaré de manera consistente en todas las pruebas posteriores para mantener la uniformidad.

Transformación de la estructura: esta configuración controla en qué medida la salida se ajusta a la estructura del video de entrada. Varía de 0 a 10. Realicé una prueba rápida con un mensaje 3D genérico para ver la diferencia en la salida:

• 0: La salida sigue de cerca la estructura de la entrada, manteniendo las formas y el movimiento.

• 5: Un equilibrio entre preservar la estructura y permitir cambios estilísticos. Aunque es bastante interesante, no es ideal para mi caso de uso.

• 10: El resultado se vuelve más abstracto y se desvía significativamente de la estructura original.

Para permitir cierta experimentación pero preservar la mayor cantidad de detalles y esforzarme por lograr la coherencia, generaré contenido utilizando 0, 1 y 2 en esta configuración.

Observaciones iniciales y próximos pasos

Hasta ahora, las pruebas preliminares han proporcionado información valiosa sobre cómo la configuración de Runway y mis opciones de preprocesamiento afectan el resultado final. En el próximo artículo, compartiré ejemplos específicos para ilustrar las diferencias que se producen al variar la configuración de transformación de la estructura y usar diferentes versiones del metraje.

También analizaré los desafíos encontrados durante el proceso de prueba, como los tiempos de procesamiento, las demandas del sistema y la calidad de los resultados en diferentes condiciones de iluminación.