Real Time Webcam DeepFake / Face Swapping with Rope Pearl Live - 1-Click Install & Use Fast & Easy
Como realizar troca de rosto em tempo real com Rope Pearl?
Introdução ao tutorial
- O tutorial apresenta como realizar a troca de rosto em tempo real usando a aplicação Rope Pearl, uma ferramenta avançada para deep fake.
- O autor menciona que já fez dois tutoriais anteriores sobre o aplicativo e que este será focado na instalação e uso no Windows.
Preparação para o uso
- O autor está gravando com OBS Studio, o que pode afetar a velocidade do processo. Ele recomenda seguir as instruções detalhadas disponíveis no post relacionado.
- Para usuários sem GPU potente, é sugerido assistir ao tutorial sobre Massed Compute cloud antes deste.
Versões do Rope Pearl
- Existem três arquivos anexados: Rope versão 4 (desenvolvimento original), Rope landmarks (fork desenvolvido por Alucard) e Rope Live stream (último fork desenvolvido por argenspin).
- A versão recomendada é a Rope Live stream, pois suporta todas as funcionalidades anteriores e inclui recursos adicionais como TensorRT e webcam.
Instalação do aplicativo
- Após baixar o arquivo zip da versão Rope Live stream, deve-se movê-lo para um disco rígido apropriado e evitar pastas com caracteres especiais ou espaços.
- A instalação é feita através do arquivo
windows install.bat, que baixa mais de 20 modelos necessários automaticamente.
Requisitos de instalação
- É necessário ter Python 3.10, Git, FFmpeg, CUDA 11.8 e ferramentas C++ instaladas previamente; um tutorial separado está disponível para ajudar nessa instalação.
- A clonagem do repositório requer uma conexão estável à internet; se houver problemas, recomenda-se usar WarpVPN.
Finalização da instalação
- O script de download não rebaixará arquivos já baixados completamente; ele retoma downloads interrompidos.
- Após a conclusão da instalação, é importante verificar os logs para identificar possíveis erros durante o processo.
Iniciando o aplicativo
- Para iniciar o aplicativo Rope, deve-se executar
windows start.batapós garantir que todos os modelos foram baixados corretamente.
- O autor demonstra rapidamente como selecionar pastas de vídeos e imagens necessárias para testar a funcionalidade da aplicação.
Configuração e Uso do InSwapper com TensorRT
Introdução ao InSwapper
- O apresentador menciona que está utilizando o InSwapper, considerado o melhor para troca de rostos, e que a configuração inicial é essencial antes de iniciar as mudanças.
- É destacado que o uso do TensorRT não é obrigatório, mas pode melhorar a performance. A resolução da webcam também será abordada posteriormente.
Habilitando Recursos Adicionais
- O Restorer com GFPGAN é ativado para melhorar a qualidade das imagens trocadas. A configuração da resolução de troca deve ser ajustada para 512.
- Após clicar em "swap faces", o usuário deve aguardar enquanto a interface pode congelar durante o processamento.
Processamento e Gravação
- Se houver problemas com a VRAM, recomenda-se reduzir a contagem de threads. O apresentador sugere ajustar para 3 threads como exemplo.
- O desempenho do aplicativo é demonstrado com uma RTX 3090 Ti usando uma contagem de threads de 5, mostrando os quadros processados em tempo real.
Instalação do TensorRT
- Para instalar o TensorRT, basta executar um arquivo que baixa e configura automaticamente os arquivos necessários no sistema.
- Após a instalação, logs são verificados para garantir que não houve erros. A aplicação é reiniciada após essa etapa.
Geração e Compilação do Modelo TensorRT
- Ao rodar pela primeira vez após configurar, um modelo TensorRT é gerado sem exibir mensagens no CMD; paciência é necessária durante esse processo.
- O uso da GPU durante a compilação do modelo pode ser monitorado pelo gerenciador de tarefas. Mudanças significativas na configuração podem exigir recompilações.
Desempenho em Tempo Real
- Com o modelo TensorRT gerado, a troca de rostos ocorre rapidamente. O desempenho melhora significativamente ao usar recursos adicionais como Restorer e GFPGAN.
- Aumentando a contagem de threads para 10 resulta em um desempenho ainda mais rápido; mesmo gravando vídeo em 4K, o uso da VRAM permanece baixo.
Gravação e Uso da Webcam
- Após habilitar gravações, vídeos são salvos rapidamente; um exemplo mostra um vídeo Full HD salvo em apenas 55 segundos.
- Para utilizar a funcionalidade da webcam em tempo real, é necessário fechar outras aplicações como OBS e seguir passos específicos para iniciar corretamente no aplicativo Rope.
Como Usar a Webcam com o Rope
Configuração Inicial da Webcam
- O apresentador demonstra como iniciar o uso da webcam no aplicativo Rope, mencionando que é necessário parar o OBS para permitir que o Rope reconheça a webcam.
- Um aviso do antivírus Kaspersky é destacado, alertando que softwares de segurança podem bloquear o uso da webcam em aplicativos como o Rope.
- É importante habilitar a opção "enviar quadros para a câmera virtual" e ajustar a resolução e FPS da webcam para um desempenho mais suave.
Troca de Rosto em Tempo Real
- O apresentador explica como encontrar rostos na interface do Rope, ajustando o limiar de similaridade para uma detecção mais precisa.
- A qualidade do rosto trocado pode não ser ideal se não houver compatibilidade, mas ainda assim serve para demonstrar a funcionalidade ao vivo.
- O teste ao vivo é realizado usando Google Meet, onde é selecionada a câmera virtual do OBS. O apresentador observa um atraso devido à configuração atual.
Desempenho e Considerações Técnicas
- Durante os testes, há uma observação sobre a carga elevada no CPU e GPU devido à gravação em 4K, afetando os FPS durante as trocas de rosto.
- Para usuários que desejam utilizar o aplicativo em nuvem (Massed Compute), são fornecidas instruções sobre instalação e funcionamento sem TensorRT, utilizando CUDA quando disponível.
Comunidade e Suporte
- O apresentador convida os espectadores a se juntarem ao Discord ou Patreon para suporte adicional e interação com outros membros da comunidade.
- Ele menciona um subreddit dedicado onde compartilha informações úteis e incentiva os espectadores a estarem ativos nas plataformas sociais relacionadas ao projeto.