My AI Filmmaking Workflow: Kling, Veo & Nano Banana

My AI Filmmaking Workflow: Kling, Veo & Nano Banana

Cómo creé mi película "Discarded Companion"

Introducción al tutorial

  • Hoy es un día lluvioso, ideal para un tutorial sobre la creación de la película "Discarded Companion". Se presentará el proceso de edición de video, analizando cada escena.
  • El objetivo es mostrar tanto lo que funcionó como lo que no, y cómo se resolvieron los problemas durante la producción.

Creación de la hoja de personaje

  • Se utilizó una referencia del personaje creada en Clling y se tomaron capturas de pantalla para diseñar una hoja de personaje.
  • La hoja incluye vistas trasera, frontal, primeros planos y perfil del personaje. Se buscaba asegurar que todas las imágenes representaran al mismo personaje.

Uso de herramientas digitales

  • Se generó una versión humana del mismo personaje usando un prompt específico en Nano Banana. Esto permitió crear dos versiones diferentes del personaje.
  • La mayor parte del trabajo creativo se realizó utilizando Nano Banana en Google Flow; se explica cómo editar imágenes dentro de esta interfaz.

Desarrollo visual y narrativo

  • Se exploró el concepto visual del entorno donde el personaje aparece por primera vez, imaginando su salida desde un montón de basura.
  • Al generar imágenes, algunos resultados no fueron satisfactorios; sin embargo, se logró obtener una imagen que representaba bien la idea inicial.

Edición y continuidad

  • Para lograr continuidad en las tomas, se ajustaron los clips para eliminar saltos visibles causados por cambios en el clima (lluvia).
  • Se incorporaron sonidos ambientales y efectos Foley a las escenas para enriquecer la experiencia auditiva sin interferir con la música que se añadirá más tarde.

Conclusiones sobre el proceso creativo

  • La secuencia final fue diseñada para parecer un solo plano continuo mediante técnicas específicas de edición.
  • A través del uso cuidadoso de los frames iniciales y finales entre clips, se mejoró significativamente la fluidez visual.

¿Cómo se desarrolla la animación de un personaje?

Proceso de creación del personaje

  • Se inicia con una toma de un personaje caminando, pero se ajusta para que no mire directamente a la cámara, siguiendo las indicaciones de la hoja de referencia del personaje.
  • Se busca que los ojos del personaje miren hacia abajo, como si estuviera observando el camino frente a ella, en lugar de mirar al espectador.
  • La secuencia inicial muestra un movimiento incorrecto; se decide recortar y ajustar el movimiento para que sea más fluido y natural.
  • Se utiliza una técnica simple de corte en movimiento para mejorar la cohesión entre las tomas, evitando cortes abruptos que rompan la continuidad visual.

Ajustes y correcciones

  • Se añaden detalles sutiles al movimiento del cuello del personaje mientras camina por el vertedero, buscando dar vida a su interacción con el entorno.
  • Se cambia el enfoque hacia diferentes partes del vertedero, utilizando referencias visuales para guiar las acciones del personaje.
  • Un error feliz ocurre cuando se decide que el personaje abra bolsas de basura en lugar de simplemente observarlas, lo cual añade dinamismo a la escena.

Desafíos en la representación

  • Al intentar capturar una expresión facial adecuada en una toma específica, surgen dificultades debido a problemas técnicos con la pintura digital.
  • El uso de juguetes desechados como parte del entorno presenta desafíos adicionales; se busca integrar estos elementos sin perder coherencia narrativa.

Exploración emocional

  • El proceso incluye mostrar frustración mientras el personaje busca objetos específicos entre los desechos. Esto ayuda a construir su carácter y emociones.
  • La decisión final sobre cómo representar al personaje interactuando con los objetos refleja su estado emocional y su conexión con el entorno.

Creación del compañero imaginario

  • En esta fase se introduce un nuevo elemento: un muñeco que representa parte del pasado del protagonista. Este objeto es crucial para desarrollar su historia personal.
  • La búsqueda por crear un diseño único para este muñeco lleva a experimentar con diferentes ideas hasta encontrar una forma satisfactoria que resuene con el carácter principal.

Conclusiones sobre técnicas utilizadas

  • A lo largo del proceso creativo, se observa cómo cada ajuste y decisión impacta no solo en la estética visual sino también en la narrativa emocional presentada por el personaje.

Cómo crear un marco final en Cling

Proceso de creación del marco final

  • Se utilizó la versión 1.6 de Cling para lograr que el marco final funcionara, ya que otras opciones no permitían establecer un marco final sin un marco inicial.
  • La primera versión presentada muestra a un androide mirando hacia la derecha mientras revisa la basura, lo que añade naturalidad a la escena.
  • Se enfatiza que al hacer que el personaje mire hacia otro lado, se crea una sensación más realista de sorpresa al descubrir algo.

Ajustes y referencias visuales

  • Se solicitó mostrar el punto de vista del personaje con respecto a la muñeca en sus manos utilizando una imagen de referencia.
  • Al intentar eliminar el fondo, se encontró que este era demasiado similar y no funcionaba bien para las transiciones entre clips.

Modificaciones del fondo

  • Se pidió reorganizar los elementos en el fondo y desenfocar la basura para mejorar la estética visual.
  • A pesar de algunos elementos persistentes en el fondo, se logró una mejor composición tras mover los objetos.

Efectos y ajustes finales

  • Se añadieron efectos como lluvia y grano para mantener coherencia con las escenas anteriores donde había lluvia.
  • La falta de una hoja de referencia del personaje inicialmente dificultó el proceso, pero su inclusión posterior facilitó mucho más la edición.

Integración narrativa

  • La combinación visual del personaje con su muñeca ayuda a contar una historia más rica, sugiriendo conexiones emocionales profundas.
  • El objetivo es mostrar cómo el vestuario cambia a medida que avanza la narrativa; esto incluye decisiones sobre qué ropa usar en diferentes momentos.

Referencias y continuidad visual

  • Se utilizan múltiples referencias (personaje, chaqueta, muñeca), lo cual es crucial para mantener proporciones adecuadas durante las ediciones.
  • La transición entre entornos naturales y urbanos se utiliza para insinuar desarrollos futuros en la trama.

¿Cómo se crea un personaje animado realista?

Referencias visuales y tamaño relativo

  • Se presenta una imagen que muestra el tamaño relativo de un animal de peluche en comparación con la protagonista, lo que ayuda a establecer la escala en la escena.
  • La inclusión de una ventana bay agrega interés visual; las cortinas se cierran inicialmente para ser abiertas más tarde, creando anticipación en la narrativa.
  • Se describe el proceso de eliminar a la protagonista del encuadre para enfocarse en otros elementos, como el timbre de la puerta que no estaba presente originalmente.

Ajustes en el diseño del personaje

  • Se experimenta con diferentes versiones del personaje, notando detalles como un "French tuck" que se decide eliminar para lograr una apariencia más natural.
  • Al tener una toma clara del personaje, se indica su posición y dirección dentro del encuadre para asegurar coherencia visual.

Grabación y sincronización de diálogos

  • Para lograr realismo en los diálogos, se graba al narrador asegurándose de que su orientación coincida con la del personaje animado.
  • Se utiliza un enfoque estratégico al grabar líneas desde diferentes ángulos y posiciones para mantener consistencia entre los personajes.

Creación de voz artificial

  • El desafío radica en crear una voz android que suene natural pero no humana; esto requiere equilibrio entre las expectativas del público sobre voces generadas por IA.
  • Se utiliza 11 Labs para diseñar y clonar voces específicas basadas en descripciones detalladas, facilitando así la creación de diálogos convincentes.

Sincronización final y ajustes técnicos

  • Los clips de audio son organizados cuidadosamente; es recomendable descargar archivos con nombres originales para evitar confusiones durante el proceso.
  • Se exploran diferentes métodos para generar diálogo: usando 11 Labs junto con actuaciones personales o utilizando herramientas como Avatar 2.0 y Cling 2.6.
  • La especificidad es clave al dirigir interacciones entre personajes; se establece claramente quién habla y cómo deben reaccionar los demás personajes ante ello.

Creación de Voz y Proceso de Producción en Cling 2.6

Uso de 11 Labs para la Creación de Voces

  • En Cling 2.6, no se puede crear una voz sin audio existente; 11 Labs permite generar la voz deseada y exportar diálogos de 30 segundos.

Secuencia Visual y Montaje

  • Se consideró usar un montaje con fotos de Instagram para mostrar el proceso de costura, pero se decidió evitarlo para no interrumpir la narrativa.
  • La idea es que el personaje principal se transforme en el humano original que cose la muñeca, mostrando una secuencia fluida entre imágenes y video.

Edición y Escenarios

  • Se eliminó una toma del basurero ya que el personaje había pasado por allí; se optó por mostrar un camino diferente en el bosque.
  • Se buscó cambiar el escenario mientras mantenía la continuidad visual, utilizando referencias para lograr tomas efectivas.

Técnicas Cinemáticas

  • Se utilizó un movimiento de cámara que sigue al personaje a través del arroyo hacia el bosque, logrando capturar momentos clave con precisión.

Reflexiones sobre el Proceso Creativo

  • El proceso cinematográfico es complejo; hay lecciones aprendidas que influirán en futuros proyectos. Hacer películas requiere esfuerzo significativo.
  • La tecnología ha avanzado lo suficiente como para permitir a más personas contar historias creativas, aunque aún requiere trabajo arduo.

Importancia del Proceso Creativo

  • La creación cinematográfica debe disfrutarse; automatizar la creatividad no reemplaza la esencia del relato humano.
  • La satisfacción final al completar una película es efímera; lo verdaderamente gratificante está en el proceso creativo mismo.
Video description

See the step-by-step approach I took to make my AI short film "Discarded Companion." Pull up a chair while I break down my entire Kling O1 and Veo 3.1 workflow, including designing consistent characters, creating start-end frame animations, story-driven use of video-to-video, acting out scenes, plus a few storytelling tips! Watch "Discarded Companion" https://youtu.be/YY-M5bxTY28 and dive into my Google Flow vs Kling O1 comparison https://youtu.be/kRlbbKZIMFU 🛠️ AI TOOLS (some links are affiliate links — they help support the channel) Kling AI: https://klingaiaffiliate.pxf.io/jeBGnM Google Flow: https://labs.google/fx/tools/flow ElevenLabs: https://try.elevenlabs.io/lcol016s31sw Suno: https://suno.com/invite/@aivideoschool 🗣️ I use Vidu to do the behind-the-scenes footage of me with my AI characters: https://www.vidu.com/create?utm_source=cpp&utm_medium=socialmedia&utm_campaign=q1r2v&utm_term=aivideoschool2 (Vidu gives us both get 200 credits if you use that link, it may take 3 days) 🍿 AI Movies and How I Made Them https://www.youtube.com/playlist?list=PLZrJsckCh5RzcTWyiaBqQ-zSGE-U0FsAg ⭐️ Subscribe to my newsletter: AI Video School Director's Cut! https://aivideoschool.xyz/ 00:00 Behind-the-scenes of "Discarded Companion" 00:41 Creating consistent character reference sheets in Nano Banana 02:16 Scene: Climbing out of the garbage (Veo start/end frame animation) 09:42 Scene: Searching for the stuffed animal (Nano Banana and Kling) 10:50 Character Persistence using reference sheets 13:30 Scene: Reunited with the stuffed animal (End frame only animation!) 19:56 Scene: Traveling home with the stuffed animal (Image to video) 24:53 Scene: Dialogue between two androids (Kling's Motion Control, Avatar 2.0, Native Audio) 30:30 Scene: Memory Sequence of handcrafting the stuffed animal (Start-End-Return frame animation) 31:45 Scene: Finding a new home (Veo & Kling) 34:17 Making movies is fun and you should do it! Plus a bunch of behind-the-scenes footage. #AIFilmmaking #KlingAI #GoogleVeo #aicinema #nanobananapro #NanoBanana #googleveo #klingO1 #aivideo #googleflow #aivideotutorial #aifilmmaking #aivideocreation #aitutorialforbeginners #futureofstorytelling #cinematicai #cinematicaivideo #consistentcharacter