2: Explorando las herramientas para mi flujo de producción asistida por IA
Antes de comenzar con la experimentación, es importante definir las herramientas que voy a probar. Para esta investigación, utilizaré herramientas de IA generativa y herramientas de aprendizaje automático (ML) , por lo que me gustaría ofrecer una definición rápida para estar en la misma sintonía.
Las herramientas de IA generativa son aquellas que "generan" contenido nuevo, ya sea a partir de un mensaje de texto, ampliando una imagen o incluso transformaciones de vídeo a vídeo en las que el resultado es algo nuevo. Por otro lado, las herramientas de ML suelen funcionar entre bastidores; suelen tener funciones específicas como detección de escenas, reducción de ruido o reconocimiento de objetos. Las herramientas de ML se han utilizado mucho antes que las herramientas de IA generativa; las iteraciones recientes se han vuelto cada vez más potentes y creo que podrían ayudar a reducir las limitaciones de la IA generativa y mejorar los resultados generales.
Con lo anterior, continuemos con las herramientas:
Herramientas de IA generativa
Pista ML
RunwayML ofrece un conjunto de herramientas creativas basadas en inteligencia artificial. En esta serie, me centraré en el uso de la función de conversión de vídeo a vídeo del último modelo Gen-3.
Este nuevo modelo permite introducir el material antes del proceso de generación, lo que permite un alto grado de control sobre los resultados. A continuación, se incluye un ejemplo de su sitio:
| Aporte | Inmediato | Producción |
| Estilo CMYK de medios tonos 3D. Punto de impresión de medios tonos. Cómic. Colores vibrantes en capas de puntos circulares de color azul cian, amarillo, magenta, violeta y negro. |
¿Por qué RunwayML?
- Fácil de usar: diseñado para artistas sin grandes conocimientos técnicos.
- Potente: Probablemente una de las herramientas más poderosas disponibles para las transformaciones de video a video.
- Procesamiento en tiempo real: excelente para pruebas e iteraciones rápidas.
Costo y Accesibilidad:
El nivel gratuito está disponible con limitaciones, incluido el modelo que deseo utilizar. Los planes pagos comienzan en alrededor de $15/mes (10 segundos de video) hasta $99/mes (ilimitado). Hay un 20% de descuento para estudiantes en cualquier plan.
Herramientas de preprocesamiento y posprocesamiento de ML
Para abordar las limitaciones de las herramientas mencionadas anteriormente y mejorar los resultados, incorporaré herramientas de aprendizaje automático para el preprocesamiento y posprocesamiento del material. Me centraré en comparar el resultado del material rotoscopiado con el del material original. Además, tengo previsto experimentar con distintos niveles de calidad y resolución de vídeo para evaluar cómo estos factores influyen en los resultados finales.
Pincel rotoscopia 2 de Adobe After Effects
Automatiza la rotoscopia, el proceso de aislar elementos dentro de los fotogramas de vídeo. Esta será una forma rápida de preprocesar el material para introducirlo en las herramientas de IA.
¿Por qué Roto Brush 2?
- Eficiente: Acelera la rotoscopia en comparación con los métodos manuales.
- Integrado: se adapta a mi flujo de trabajo existente de Adobe Creative Cloud.
- Preciso: excelente para separar sujetos de fondos, lo que permite seguimiento automático y ajustes cuadro por cuadro.
Costo y Accesibilidad:
Disponible a través de la suscripción a Creative Cloud de Adobe por alrededor de 19,99 € al mes para estudiantes (compromiso anual).
Silueta de Boris FX
Una herramienta de rotoscopia y pintura profesional con funciones avanzadas para efectos visuales y posproducción. Planeo probar cómo se compara con Roto Brush 2 tanto en flujo de trabajo como en calidad.
¿Por qué Silhouette/Mocha Pro?
- Rotoscopia avanzada: herramientas potentes para tareas complejas.
- Seguimiento de movimiento: mejora la precisión al rastrear el movimiento.
- Estándar de la industria: confiable en flujos de trabajo de efectos visuales profesionales.
Costo y Accesibilidad:
La suscripción comienza en $66 al mes, con una licencia educativa para estudiantes de tiempo completo que ofrece un año de todas las herramientas de BorisFX gratis.
Vídeo de Topaz con IA
Mejora la calidad del video mediante el aprendizaje automático para el escalado, el desentrelazado, la interpolación de movimiento y la reducción de ruido. Esta herramienta ayuda a probar las diferencias de calidad de salida y mitiga la limitación de 720p de RunwayML.
(Ver más aquí )
¿Por qué Topaz Video AI?
- Mejora de calidad: mejora la resolución y la claridad, ampliando el material hasta 16K.
- Reducción de ruido: limpia el metraje para un mejor procesamiento de la IA.
- Estándar de la industria: se utiliza en flujos de trabajo de efectos visuales profesionales.
Costo y Accesibilidad:
Compra única por $299,99; hay una prueba gratuita disponible.
Terminando
Estoy entusiasmado por probar estas herramientas y ver cómo pueden ayudar a mi proyecto. La gran pregunta es qué tan bien funcionarán juntas en un flujo de trabajo sin problemas. Solo mediante la experimentación podré evaluar la compatibilidad, optimizar el flujo de trabajo y evaluar la calidad.
En el próximo artículo, configuraré un marco de pruebas para evaluar cada herramienta y cómo se conectan.
Continúe con el siguiente artículo:
3: Establecimiento del marco de experimentación