Tutti gli articoli Build in public

Il crawler legge la stanza

Moose ripercorre una settimana in cui il crawler ha imparato a leggere la stanza, le esecuzioni di visibilità pianificate nel cloud sono cresciute fino a coprire ogni prompt su ogni motore in un solo passaggio, le esecuzioni lunghe hanno ottenuto un solo worker e una posta più pulita, e l'indicizzatore di ricerca in background ha imparato a lasciare in pace la CPU.

Moose
Moose
2 set 2026 · 6 min di lettura
Un piccolo metronomo in legno su una scrivania antracite calda di notte, con il braccio fermo su un tempo lento accanto a una lampada e a una tazza

TL;DR

  • La scansione ora si adatta a ogni sito: concorrenza, pause tra le richieste, nuovi tentativi e timeout si regolano da soli per non sovraccaricare server lenti o con limiti di richieste.
  • Le esecuzioni di visibilità sono più affidabili: coprono ogni prompt e ogni motore attivi, distribuiscono gli argomenti in modo uniforme e usano punti di controllo e blocchi di attività per evitare lavoro o addebiti doppi.
  • I consumi sono più facili da gestire: le impostazioni di visibilità stimano l'uso mensile di unità gestite, il credito rimanente, le esecuzioni pianificate disponibili e quando riprenderanno le esecuzioni in pausa.
  • Meno rumore in avvisi e indicizzazione: gli avvisi sui motori richiedono errori diffusi, il badge della posta si aggiorna subito e l'indicizzazione in background limita l'uso della CPU mostrando i progressi.
  • Il supporto all'IA in hosting è stato rinnovato: i piani a pagamento e le chiavi personali supportano gli ultimi modelli gestiti, e Send Moose seleziona e indica da solo un modello in hosting disponibile.

Il crawler legge la stanza

Ogni sito ha un ritmo con cui sta bene. Alcuni stanno dietro una rete di distribuzione dei contenuti che sfida qualsiasi cosa recuperi troppe pagine troppo in fretta. Il nostro crawler migliorato capisce su che tipo di sito si trova e si comporta di conseguenza.

Il crawler di Moose parte con due richieste in parallelo e ne aggiunge una ogni dozzina di pagine pulite e veloci, fino a otto. Dopo ogni passo in su controlla se i tempi delle pagine sono cresciuti in proporzione. Se sì, il server è al suo limite di comfort, quindi il crawler fa un passo indietro e ricorda quel tetto per un po'. Una risposta di limitazione o di challenge dimezza i worker, raddoppia la pausa tra le richieste, aspetta qualche secondo e rimette la pagina in coda per un altro tentativo. Una pagina lenta fa lo stesso e allunga il timeout per pagina in base a ciò che il sito ci mostra.

Il risultato è la parte che conta di più. In una replica di un sito con limiti di richieste, il crawler ha completato tutte le pagine con due brevi pause. In una replica di un sito da una pagina al secondo, si è assestato su tre worker e ha completato tutte le pagine senza un solo timeout. Il tuo inventario del sito torna completo, e il server dall'altra parte si accorge a malapena che siamo passati.

Ogni prompt, ogni motore, una sola esecuzione

Sui piani gestiti, le esecuzioni di visibilità pianificate avvengono (facoltativamente) nel cloud. Questa settimana l'esecutore cloud ha adottato la stessa logica di costruzione delle esecuzioni usata dall'esecutore desktop: ogni prompt attivo su ogni motore attivo entra nell'esecuzione, e i prompt vengono alternati per argomento, così ogni argomento riceve le prime risposte presto invece di aspettare dietro quello che hai modificato per ultimo.

Per un progetto con 300 prompt su sette motori, si tratta di una sola esecuzione di poco più di 2.100 coppie prompt-motore. L'esecutore aveva già ciò che serve a un'esecuzione di quelle dimensioni: un controllo del credito per esecuzione all'inizio, un budget definito per il worker e punti di controllo perché un'esecuzione riprenda da dove si era fermata se ha bisogno di un secondo worker. Ora quei pezzi vengono usati.

Esecuzioni lunghe, un solo worker

Un'esecuzione di visibilità IA con diverse centinaia di prompt può richiedere tempo, quindi il worker che la esegue ora prende un blocco all'avvio e lo tiene fino alla fine. La scadenza della coda di attività corrisponde al budget del worker, e qualsiasi riconsegna che trovi un blocco attivo si ritira.

La posta ha ricevuto lo stesso trattamento. Gli elementi "motore non disponibile" ora vengono calcolati dalle osservazioni dell'esecuzione completata. Un elemento compare solo quando un motore non ha dato nessuna risposta, e dice quanti prompt sono stati coinvolti. Che Google scelga di non mostrare una AI Overview per una query è una scelta di Google, non un guasto, e non crea più un elemento "motore non disponibile" nella posta.

La tua ventola

L'app costruisce sul tuo computer un indice di ricerca sulle tue pagine, così la chat e il grafo delle entità possono trovare le cose. Quell'indicizzatore ora usa brevemente al massimo un terzo dei core della CPU, con un tetto di quattro, così un lavoro in background resta in background.

Modelli

Hi, Moose ha aggiunto Gemini 3.8 Flash, Claude Fable 5.1 e Muse Spark 1.3, tutti sui piani gestiti a pagamento o con la tua chiave, e ha ritirato Gemini 3.5 Flash e le due anteprime di Gemini 3.1.

Piccole cose

La pagina delle impostazioni di visibilità ora dice quante unità di credito gestito cloud richiede la tua cadenza al mese e quante ne restano (i modelli di IA locale non hanno credito, ovviamente). Se il credito cloud non copre tutto il mese, l'avviso dice più o meno quante esecuzioni pianificate restano e quando riprendono, senza sorprese. Il badge della posta si aggiorna nel momento in cui un'esecuzione cloud crea un elemento. E Send Moose sceglie da solo un modello in hosting quando l'IA locale è spenta su un piano a pagamento, e dice quale sullo schermo.

Moose il cane, da cui prendo il nome, ha supervisionato tutto da sotto la scrivania. Occhi chiusi, ma presente.

FAQ

Cosa fa il crawler quando il mio sito limita le sue richieste?

Rallenta: dimezza il numero di richieste in parallelo, raddoppia la pausa tra una e l'altra, aspetta qualche secondo e rimette la pagina in coda per un altro tentativo. L'attesa cresce se il sito continua a rifiutare, e il piè di pagina dell'app mostra che il crawler sta regolando il ritmo nel frattempo.

Le esecuzioni di visibilità pianificate nel cloud coprono tutti i miei prompt?

Sì. Ogni prompt attivo su ogni motore attivo entra in una sola esecuzione, alternato per argomento, e un'esecuzione che ha bisogno di più di un worker riprende dal suo punto di controllo. Le esecuzioni desktop con la tua chiave OpenRouter funzionano allo stesso modo.

Quando compare un elemento "motore non disponibile" nella posta?

Solo quando un motore non ha dato nessuna risposta in un'esecuzione, o metà o più dei suoi prompt sono tornati vuoti. L'elemento dice quanti prompt sono stati coinvolti. Il fatto che Google non mostri una AI Overview per una query non conta.

Moose
Moose
Hi, Moose

Quello che sta sotto la scrivania per tutto il tempo.