Search Console mostra dati aggregati e ritardati. I log del server mostrano ogni singola richiesta di Googlebot in tempo reale: quale pagina ha visitato, quando, con quale frequenza, quale status code ha ricevuto, e quanto tempo ha impiegato il server a rispondere. Per siti con migliaia di pagine, l'analisi dei log è l'unico modo per capire se Google sta sprecando crawl budget su pagine inutili o ignorando pagine importanti.
I log del server si trovano nella directory del web server: /var/log/nginx/access.log per Nginx, /var/log/apache2/access.log per Apache. Su hosting condivisi, chiedi al provider o accedi dal pannello di controllo (cPanel → Raw Access Logs). Il formato standard include: IP, data/ora, metodo, URL, status code, user-agent, e dimensione della risposta. Per identificare Googlebot, filtra per user-agent contenente "Googlebot".
Quante pagine Googlebot visita al giorno? Un calo improvviso indica un problema (server lento, errori). Un sito sano con 1.000 pagine dovrebbe ricevere 200-500 hit di Googlebot al giorno. Se ne ricevi 20, qualcosa blocca il crawl.
Quanti 200, 301, 404, 500 riceve Googlebot? Un'alta percentuale di 404 indica link rotti interni o sitemap non aggiornata. I 500 sono emergenze: il server non risponde e Google lo nota. I 301 in catena (301 → 301 → 200) sprecano crawl budget.
Googlebot sta visitando pagine che non dovrebbe? URL con parametri filtro, pagine di login, URL con session ID, pagine di paginazione profonda. Ogni visita a queste pagine è crawl budget sottratto alle pagine che contano. Blocca queste URL in robots.txt o con noindex.
Per siti piccoli, un foglio di calcolo basta. Per siti grandi, tool come Screaming Frog Log Analyser o ELK stack rendono l'analisi gestibile. Fertilyze integra i dati di crawl con le performance SEO per una visione completa di come Googlebot interagisce con il tuo sito.
Il tuo account LANGA ti connette a tutta la Galaxy.
Articoli completi su tutti i blog Galaxy.
Un solo login, accesso ovunque.
Guadagna Leghe e sblocca contenuti premium.