Todos os artigos Build in public

O crawler lê o ambiente

Moose repassa uma semana em que o crawler aprendeu a ler o ambiente, as execuções de visibilidade agendadas na nuvem cresceram para cobrir cada prompt em cada mecanismo numa única passada, as execuções longas ganharam um único worker e uma caixa de entrada mais limpa, e o indexador de busca em segundo plano aprendeu a deixar sua CPU em paz.

Moose
Moose
2/09/2026 · 6 min de leitura
Um pequeno metrônomo de madeira sobre uma mesa grafite quente à noite, com o braço parado num andamento lento ao lado de uma luminária e uma caneca

TL;DR

  • O rastreamento agora se adapta a cada site: concorrência, intervalos entre requisições, novas tentativas e tempos limite se ajustam automaticamente para não sobrecarregar servidores lentos ou com limite de requisições.
  • As execuções de visibilidade são mais confiáveis: cobrem cada prompt e cada mecanismo ativos, distribuem os temas de forma uniforme e usam pontos de controle e reservas de tarefa para evitar trabalho ou cobranças em dobro.
  • O consumo é mais fácil de gerenciar: as configurações de visibilidade estimam o uso mensal de unidades gerenciadas, o saldo restante, as execuções agendadas disponíveis e quando as execuções pausadas vão retomar.
  • Menos ruído em alertas e indexação: os alertas de mecanismo exigem falhas generalizadas, o selo da caixa de entrada atualiza na hora e a indexação em segundo plano limita o uso de CPU enquanto mostra o progresso.
  • O suporte a IA hospedada foi renovado: planos pagos e chaves próprias suportam os modelos gerenciados mais recentes, e o Send Moose seleciona e identifica sozinho um modelo hospedado disponível.

O crawler lê o ambiente

Todo site tem um ritmo com o qual se sente confortável. Alguns ficam atrás de uma rede de distribuição de conteúdo que desafia qualquer coisa que busque páginas demais rápido demais. Nosso crawler aprimorado percebe em que tipo de site está e se comporta de acordo.

O crawler do Moose começa com duas requisições em paralelo e acrescenta mais uma a cada dúzia de páginas limpas e rápidas, até oito. Depois de cada aumento, ele verifica se os tempos de página cresceram na mesma proporção. Se cresceram, o servidor está no seu limite confortável, então o crawler dá um passo atrás e lembra desse teto por um tempo. Uma resposta de limite de requisições ou de desafio reduz os workers pela metade, dobra o intervalo entre as requisições, espera alguns segundos e coloca a página de volta na fila para outra tentativa. Uma página lenta faz o mesmo e estica o tempo limite por página para caber no que o site nos mostra.

O resultado é a parte mais importante. Numa reprodução de um site com limite de requisições, o crawler terminou todas as páginas com duas pausas curtas. Numa reprodução de um site de uma página por segundo, ele se acomodou em três workers e terminou todas as páginas sem um único tempo limite estourado. Seu inventário do site volta completo, e o servidor do outro lado mal percebe que passamos por ali.

Cada prompt, cada mecanismo, uma execução

Nos planos gerenciados, as execuções de visibilidade agendadas acontecem (opcionalmente) na nuvem. Nesta semana o executor na nuvem adotou a mesma lógica de montagem de execução que o executor do desktop usa: cada prompt ativo em cada mecanismo ativo entra na execução, e os prompts são intercalados por tema, para que cada tema receba suas primeiras respostas cedo em vez de esperar atrás daquele que você editou por último.

Para um projeto com 300 prompts em sete mecanismos, isso é uma única execução com pouco mais de 2.100 pares prompt-mecanismo. O executor já tinha o que uma execução desse tamanho precisa: uma verificação de saldo por execução logo no início, um orçamento de worker definido e pontos de controle para que uma execução continue de onde parou se precisar de um segundo worker. Agora essas peças entram em uso.

Execuções longas, um único worker

Uma execução de visibilidade em IA com várias centenas de prompts pode demorar, então o worker que a executa agora reserva um bloqueio ao começar e o mantém até o fim. O prazo da fila de tarefas corresponde ao orçamento do worker, e qualquer reentrega que encontre um bloqueio ativo recua.

A caixa de entrada recebeu o mesmo tratamento. Os itens "mecanismo indisponível" agora são calculados a partir das observações da execução concluída. Um item só aparece quando um mecanismo não deu nenhuma resposta, e ele diz quantos prompts foram afetados. O Google escolher não mostrar uma AI Overview para uma consulta é decisão do Google, não uma queda, e isso não cria mais um item "mecanismo indisponível" na caixa de entrada.

Sua ventoinha

O app monta um índice de busca sobre suas páginas na sua máquina, para que o chat e o grafo de entidades consigam encontrar as coisas. Esse indexador agora usa por pouco tempo no máximo um terço dos núcleos da sua CPU, com teto de quatro, para que um trabalho em segundo plano fique em segundo plano.

Modelos

O Hi, Moose ganhou Gemini 3.8 Flash, Claude Fable 5.1 e Muse Spark 1.3, todos nos planos gerenciados pagos ou com sua própria chave, e aposentou o Gemini 3.5 Flash e as duas prévias do Gemini 3.1.

Coisas pequenas

A página de configurações de visibilidade agora diz quantas unidades de saldo gerenciado na nuvem sua cadência precisa por mês e quantas restam (modelos de IA local não têm saldo, claro). Se o saldo na nuvem não cobrir o mês inteiro, o aviso diz mais ou menos quantas execuções agendadas restam e quando elas retomam, sem surpresas. O selo da caixa de entrada atualiza no momento em que uma execução na nuvem cria um item. E o Send Moose escolhe sozinho um modelo hospedado quando a IA local está desligada num plano pago, e diz qual na tela.

O Moose cachorro, de quem tirei o nome, supervisionou tudo de baixo da mesa. De olhos fechados, mas presente.

FAQ

O que o crawler faz quando meu site limita as requisições dele?

Ele recua: reduz pela metade o número de requisições em paralelo, dobra o intervalo entre elas, espera alguns segundos e coloca a página de volta na fila para outra tentativa. A espera cresce se o site continuar recusando, e o rodapé do app mostra que o crawler está ajustando o ritmo enquanto isso.

As execuções de visibilidade agendadas na nuvem cobrem todos os meus prompts?

Sim. Cada prompt ativo em cada mecanismo ativo entra numa única execução, intercalado por tema, e uma execução que precisa de mais de um worker continua do seu ponto de controle. Execuções no desktop com sua própria chave OpenRouter funcionam do mesmo jeito.

Quando um item "mecanismo indisponível" aparece na caixa de entrada?

Só quando um mecanismo não deu nenhuma resposta numa execução, ou metade ou mais dos prompts dele voltaram vazios. O item diz quantos prompts foram afetados. O Google não mostrar uma AI Overview para uma consulta não conta.

Moose
Moose
Hi, Moose

O que fica embaixo da mesa durante tudo isso.