Dirigindo uma IA com vCam

Essa menina é minha filha, Talita.

Um pouco de contexto. Em 2016 nós fizemos uma viagem pra Abrolhos, em busca de ver algumas baleias. O passeio foi lindo, mas infelizmente as baleias não vieram. Tudo bem, o passeio foi incrível de qualquer forma.

10 anos se passaram, não vimos as baleias, a tecnologia melhorou e eu decidi resolver esse problema das baleias.

Eu não quis usar a Talita, porque não acho legal expor ela a isso. Mas fiz um modelo junto com ela, que ficasse parecido. E o resultado é esse, acredite, ficou :)

De onde veio a ideia

No teste do dadinho eu entendi como controlar a câmera, mas no geral era uma cena simples. Me veio a ideia: o que seria difícil ou caro de fazer na vida real? Bom, a gente não consegue controlar a natureza, não dá pra marcar um casting com as baleias. E o VFX disso é bem caro. Daí lembrei da minha história com a Talita e quis juntar as 2 coisas.

A câmera

Eu fiz quase tudo com o Claude nesse projeto. Aproveitei que o C4D atualizou e pedi pro Claude criar toda a cena lá (fique à vontade pra usar o blender, ou qualquer outro dcc com mcp), bem simples, mas baseada em Abrolhos. Ele montou um primeiro esboço já muito legal, mas a câmera… a câmera não tava ficando do jeito que eu queria.

Tentei animar algumas vezes, mas ainda não me passava a sensação de estar lá, e nesse take eu não queria uma câmera parada. Eu queria uma coisa viva, um take real… de um pai filmando um momento único com a filha. Pra isso eu encontrei duas soluções.

1 - VirtuCamera. Esse me chamou a atenção pela facilidade de uso, tem plugin pra todos os DCCs que eu uso. MAAAASSS, custa 20 doletas. Não é que não vale, mas pra uma primeira tentativa eu queria ir no grátis.

2 - Unreal Engine. Aqui eu encontrei uma solução, digamos, custo-benefício. Não é que é complicado usar ou configurar, na verdade é bem fácil. Maaas, deixa o projeto um pouco mais burocrático e lento.

Enfim, se você procurar tutorial de VCam no UE, vai achar um monte. O processo fica lento pq você cria e anima em um DCC, exporta pro Unreal, anima a câmera, exporta a câmera. Falando assim não é nem tão complicado, mas como tá tudo tão rápido, é no mínimo 2 processos a menos com o VirtuCamera.

Me diz vc se vale os $20.

No próximo projeto eu devo comprar o VirtuCamera, pq eu acho que vai deixar o workflow mais simples, e isso me deixa mais à vontade pra testar coisas diferentes.

O previz

No c4d fiz o preview só com cores chapadas, pra ficar bem nítido, e você consegue evidenciar isso no prompt. Laranja = Talita, Cinza = Baleia, etc… isso faz muita diferença.

Nesse ponto, tenta deixar tudo o mais claro possível. Cabelo é cabelo, rosto é rosto. Senão depois vai te dar alguns bugs chatinhos.

O rosto laranja na Talita

Testando local

Antes de gastar meu suado dinheirinho eu testei tudo local. Mesmo que o resultado vá ser diferente, por causa de como cada modelo de vídeo interpreta uma referência, um prompt, o seed… esses testes locais me ajudam a entender muita coisa. Se o movimento funciona, se a velocidade tá boa, se eu deixei passar alguma informação. Tudo isso é um custo que vou mitigando no Seedance depois.

Quando mostrei essas versões pra Talita, ela me olhou com uma cara de: rapaz, tá certo isso?!

Na frente dela eu fiquei super: claro, claro. Assim é só um teste, minha filha, mas vai dar certinho hahaha

Hora da verdade

Bom, hora de levar toda essa teoria pro Seedance. Mas antes disso pedi pro Claude pegar pra mim uma lista de preço, porque pensa num trem caro! E ele me sugeriu o Segmind.

E é aqui que entra a aleatoriedade. Infelizmente pode acontecer de você preparar tudo, mas no output final ter uma surpresa.

Mesmo com o tanto de teste e ajuste e vai e volta que eu fiz, ainda o abençoado me troca o barco na primeira tentativa. Maldito seed. Troca o seed e reforça o prompt pra manter o barco.

Mais uma surpresa, a Talita agora virou uma coruja que vira a cabeça 180. O pior é que eu gostei hahaha

Nesse caso foi um pouco mais fácil. Como eu gostei de tudo, menos da parte da cabeça, eu mantive o seed e só precisei corrigir no prompt.

Troca o seed, confere mais um pouco o prompt e vai dar certo, fica tranquilo :)

Prontinho, vídeo corrigido, e foi só mandar pra 1080p.

No Segmind foram 3 drafts em 480p, a US$ 1,26 cada, mais o final em 1080p. No total, uns US$ 8.

É bom lembrar de fazer em draft, porque assim dá pra economizar muito. Faz em draft e só melhora o que vc tiver aprovado. Porque mesmo com vários ajustes no ComfyUI, ainda tem aleatoriedade, e vc pode acabar gastando à toa.

Esse foi o prompt final:

Real handheld smartphone footage filmed by a father on a whale-watching catamaran in the Abrolhos archipelago, Bahia, Brazil. One single continuous take, no cuts. Natural midday sunlight, clear blue sky with a few white clouds, slight natural handheld shake, realistic phone video look. Not CGI, not 3D, not animation.

@Video 1 is a flat-color previz of this exact shot: follow it closely for camera movement, framing, zoom, and the position, size and timing of every element. Previz legend: orange figure = the girl; dark grey shapes = humpback whales; dark blue plane = the ocean; green and beige shapes = the islands; light blue = sky; white bars = the boat's open stainless-steel tube railing, mounted on top of the white fiberglass catamaran hulls, with the sea visible through and under the railing; light grey floor = the white boat deck. There is NO solid wall, NO concrete parapet, NO bulwark.

The girl is exactly the girl from @Image 1: a 14-year-old girl with long dark brown hair in a low ponytail, light blue long-sleeve shirt, beige shorts, grey-blue sneakers. She stands safely ON the white deck, INSIDE the boat, BEHIND a continuous waist-high stainless-steel tube railing that runs all around the bow with no gaps. The railing is between her and the sea; she rests both hands on its top tube. Her arms are relaxed and close to her body, hands near each other on the rail. She never stands on the bow tip, the trampoline net or outside the railing. No rigging cables, no stays, no ropes in front of her.

Her acting is natural and spontaneous, like a real kid on vacation, never posed or robotic. She starts smiling at the camera as if posing for a photo, then turns her whole body to the sea and watches quietly, amazed, without pointing. When the big whale breaches, she turns her WHOLE BODY around (feet, hips and shoulders) to face the camera, mouth open, laughing with excitement, then turns her whole body back to watch the sea again. Her head always stays aligned with her shoulders; she never twists only her head or neck backwards.

THREE separate whale moments, in this order:
1. 0–2s: far away in the center, only the tail fluke of one humpback rises out of the water and slowly sinks.
2. 2.5–4.5s: on the LEFT side of the frame, a large adult humpback (the mother) breaches, launching most of its body out of the water, then crashes back with a huge white splash. This is the biggest moment of the shot.
3. 5–7s: on the RIGHT side of the frame, ONE smaller humpback calf breaches once, back side up, dark grey with long white pectoral fins, with a smaller splash. It is the same single animal from start to end; it does not change color or shape.

The whales are humpback whales, as in @Image 2 and @Image 3: dark grey-black back, white throat grooves, very long white pectoral fins, knobby head. They are NOT orcas: no tall dorsal fin, no white eye patch. Realistic water, foam and mist.

On the horizon, the flat green islands of the Abrolhos archipelago with dark rocky cliffs and a small white lighthouse, as in @Image 2. Deep blue tropical ocean with small waves, the boat rocking very gently.

Sound: wind, waves, the idling boat engine, the girl gasping and laughing, the whale splashes. No music, no text, no subtitles.

Detalhe, depois disso tudo eu lembrei que tinha uns créditos pra expirar no ElevenLabs. Fui lá, com o mesmo prompt, e pum. Veio o resultado que mais gostei haha A vida é mesmo uma maravilha

Chaaaama

José De Oliveira