Dando voz ao JARVIS: Whisper e Piper rodando na minha VPS

· IA, Voz, Whisper, Piper, n8n, React

O JARVIS é o assistente do meu portfólio: você pergunta sobre a minha carreira, projetos ou como falar comigo, e ele responde. Até pouco tempo ele usava a voz e o reconhecimento de fala do navegador, que mudam muito de um aparelho para outro (no Firefox o microfone nem existia). Decidi trazer as duas pontas para a minha VPS: o Whisper para transformar fala em texto e o Piper para transformar texto em fala. Este post conta como ficou e o que aprendi no caminho.

TL;DR


1. A arquitetura

Microfone (MediaRecorder)
   → POST whisper.brunokobi.tech/inference   (whisper.cpp + gateway FastAPI)
   ← { text }
   → n8n (agente JARVIS, memória por sessão)
   ← resposta em texto
   → GET tts.brunokobi.tech/tts.mp3?text=...&lang=pt   (Piper + FastAPI)
   ← MP3 (cacheado na Cloudflare)
   → <audio> + AnalyserNode (animação do núcleo do JARVIS)

O front é React com TypeScript, hospedado na Netlify. A Netlify não faz proxy de áudio: o navegador fala direto com os dois serviços da VPS, cada um num subdomínio próprio, com HTTPS na Cloudflare e roteamento pelo Traefik.

2. Ouvindo: Whisper self-hosted

Usei o whisper.cpp, que roda bem em CPU ARM sem GPU. Com o modelo base, uma pergunta curta leva de 2 a 5 segundos para ser transcrita. Na frente dele coloquei um gateway pequeno em FastAPI, que libera CORS só para o meu site e repassa os campos para o servidor do whisper.cpp.

Gravar e saber quando parar

No navegador, o hook useWhisperRecorder grava com MediaRecorder e mede o volume com um AnalyserNode da Web Audio API. Assim ele sabe quando a pessoa parou de falar, sem precisar de botão de parar:

O áudio vai como multipart/form-data com language=pt. Na volta, removo marcas que o Whisper inventa em trechos sem fala, como [BLANK_AUDIO] e (música).

O truque do prompt de vocabulário

O primeiro teste foi engraçado: eu dizia "Bruno Kobi trabalha na Vennx" e o Whisper escrevia "Bruno Cove trabalha na Vênix". Nomes próprios e marcas não estão no vocabulário comum do modelo. O whisper.cpp aceita um campo prompt, que funciona como um texto anterior à fala e puxa o modelo para essas palavras:

export const WHISPER_PROMPT =
  'Conversa com o JARVIS sobre Bruno Kobi, da Vennx: React, TypeScript, Node.js, n8n, Supabase, LangChain, GitHub, LinkedIn.';

form.append('language', 'pt');
form.append('prompt', WHISPER_PROMPT);

Com isso, a mesma frase passou a sair certa. Foi a melhoria com melhor custo-benefício do projeto inteiro: uma linha de código.

3. Falando: Piper TTS

O Piper é um sintetizador de voz neural leve, feito para rodar em CPU. Em português uso a voz pt_BR-faber-medium, e há vozes para inglês, espanhol, francês, alemão, russo e árabe, acompanhando os idiomas do site.

Embrulhei o Piper numa API FastAPI com um único endpoint, GET /tts.mp3?text=...&lang=...&speed=..., que devolve MP3. Ser GET foi uma escolha de propósito: a mesma frase gera sempre a mesma URL, e a Cloudflare guarda a resposta por 30 dias. O serviço também limita 1.200 caracteres por pedido e 30 sínteses por minuto por IP.

Começar a falar rápido

Respostas longas demoram para sintetizar inteiras. Por isso o front tira o markdown, quebra o texto em trechos (o primeiro com até 120 caracteres, os outros com até 400) e toca um <audio> por trecho. Enquanto um trecho toca, o próximo já está sendo baixado. Assim o JARVIS começa a falar logo depois do primeiro trecho, sem esperar a resposta inteira.

Ensinando a pronunciar

O Piper lê o que recebe ao pé da letra. "Kobi" saía errado, "JARVIS" virava sigla, e um link como github.com/brunokobi era soletrado inteiro. A solução foi um dicionário de pronúncia aplicado só no texto que vai para a voz (o texto na tela continua igual):

const PRONUNCIATION = {
  pt: [
    [/\bJARVIS\b/gi, 'Járvis'],
    [/\bGithub\b/gi, 'Git Hub'],
    [/\bKobi\b/gi, 'Cóbi'],
    [/\bVennx\b/gi, 'Vénix'],
  ],
};

Links com caminho são lidos só pelo último pedaço ("bruno cóbi"), e-mails viram "usuário arroba domínio ponto com". Além disso, ajustei o prompt do agente no n8n para, ao falar de contato, indicar os caminhos (LinkedIn, formulário do site, GitHub) em vez de ditar endereços.

Para conferir a pronúncia sem ficar ouvindo dezenas de áudios, usei os dois serviços juntos: gerava o áudio no Piper e mandava para o Whisper transcrever. Se o Whisper entendia a palavra certa, uma pessoa também entenderia.

4. O núcleo que pulsa com a voz

O JARVIS tem um núcleo animado com barras. Antes elas se mexiam de forma aleatória; agora mostram o espectro real da voz. O <audio> do Piper é ligado a um AnalyserNode com createMediaElementSource, e a cada quadro o componente lê getByteFrequencyData e espelha as frequências nas barras.

Aqui apareceram duas pegadinhas. A primeira: para ler o espectro de um áudio de outro domínio, o <audio> precisa de crossOrigin="anonymous" e o servidor precisa mandar o cabeçalho de CORS. A segunda é de cache: se o servidor devolve CORS só para a origem que pediu, com Vary: Origin, a Cloudflare pode servir para o navegador uma cópia guardada sem o cabeçalho, e o áudio toca mudo. Como o áudio é público, a solução foi o Piper responder sempre Access-Control-Allow-Origin: *, sem Vary, e acrescentar um parâmetro de versão na URL (v=2) para descartar as cópias antigas do cache.

Também só ligo o analisador quando o AudioContext está em estado running. Se o navegador ainda não liberou áudio (antes de o visitante clicar em algo), o elemento ligado ao contexto suspenso também ficaria mudo.

5. Conversa por voz

Com as duas pontas funcionando, ficou natural fechar o ciclo: quando a pergunta veio pelo microfone, o JARVIS volta a ouvir sozinho assim que termina de responder. Se ninguém falar em 6 segundos, o microfone fecha em silêncio. Digitar uma pergunta, clicar numa sugestão ou parar a fala encerra o modo de conversa.

6. Plano B sempre ligado

Serviço self-hosted numa VPS gratuita pode cair, então nada depende só dele. Se o Piper falhar antes de tocar (erro, limite por IP, rede), o texto é lido pela voz do navegador (Web Speech API). Se o navegador não grava áudio, o microfone usa o reconhecimento de fala do próprio navegador. O visitante continua conversando, só com outra voz.


Principais lições

  1. Modelos pequenos dão conta: whisper.cpp no modelo base e Piper em CPU ARM respondem rápido o bastante para uma conversa.
  2. O prompt do Whisper resolve nomes próprios com uma linha, sem treinar nada.
  3. TTS por GET + CDN transforma frases repetidas em arquivos estáticos.
  4. CORS e cache precisam combinar: cabeçalho que varia por origem, atrás de CDN, pode deixar o áudio mudo.
  5. Teste a voz com o próprio Whisper: Piper → Whisper é um verificador automático de pronúncia.
  6. Tenha sempre um plano B quando a infraestrutura é sua e gratuita.

Todos os posts