GoogleBot è conosciuto dagli esperti di SEO come il fantomatico robot di Google.
La sua “presenza” ed il suo operato determinano il posizionamento dei siti web in tutto il web e, per questo, se desideri far decollare il tuo progetto online dovresti assolutamente conoscerne i tratti principali, il suo funzionamento e la sua logica.
Poniamo il caso che tu abbia acquistato un buon web hosting e investito tempo e risorse per creare il tuo sito web curato in ogni dettaglio. Una volta pubblicato ti aspetterai delle visite, dei commenti o delle reazioni da parte degli utenti ma ti accorgi che, nonostante il tempo sia passato, non arriva nulla di nuovo.
Come mai? Probabilmente “non sei piaciuto” a Googlebot che ha scansionato e indicizzato le pagine e non ha trovato qualcosa di convincente sul tuo sito web.
Cos’è il Googlebot?
Il Googlebot è un crawler web che si divide in due entità differenti per funzioni:
- Il primo è il crawler desktop che agisce simulando il comportamento di un utente che si collega al web dal desktop,
- Il secondo, svolge la stessa azione ma impersonando l’utente che si collega da mobile.
Quindi l’uno accede al sito web da desktop e l’altro da smartphone o tablet. Ciò nonostante entrambi i crawler eseguono lo stesso modello, ovvero il medesimo token di prodotto conosciuto come “token user-agent” e previsto dal file robot.txt.
Questa prima informazione ci dice che non ci è possibile scegliere il tipo di crawler perché entrambi passano per il medesimo file robot.
Come funziona il Googlebot?
Questo bot è stato ideato per essere eseguito contemporaneamente e simultaneamente da migliaia di server per consentire la crescita ed il rendimento di tutto il web.
Il suo accesso dura una manciata di secondi e con frequenze variabili, seguendo logiche che non sono del tutto note.
A volte per ridurre l’utilizzo di banda le scansioni seguono una logica di vicinanza fisica dei computer ma l’utente che si collega su un sito non percepisce questo “passaggio”.
L’obiettivo di Googlebot è quello di prelevare il maggior numero di pagine del tuo sito senza sovraccaricare il server e quindi, quando c’è un problema di lentezza, questa potrebbe derivare dalla frequenza di scansione.
Per evitare questo inconveniente conviene controllare le impostazioni del tuo sito web dalla Search Console che utilizzi normalmente per tenere sotto controllo le prestazioni.
Quali sono i Googlebot?
In genere il termine “crawler” indica un generico programma che scansiona pagine e siti web. Quello più famoso è il Googlebot ma ce ne sono molti altri.
Ecco alcuni tra i più utilizzati che dovresti conoscere per migliorare le performance del tuo sito web. Per tutti gli altri ti rimandiamo alla tabella di Google.
Laddove leggi “token” si fa riferimento al token dell’user agente che viene usato nella riga user agent del file robot.txt.
La stringa completa, invece, è la descrizione del crawler che figura sulla richiesta e sui log web.
Come sfruttare al meglio i Googlebot
Per sfruttare al meglio Googlebot devi capire che questo è un intermediario cruciale tra il tuo sito web e il posizionamento nella SERP.
Per far si che il tuo sito sia realmente ottimizzato la prima cosa che devi fare è inserire la sitemap nella Search Console, aiutando il bot a migliorare la scansione delle tue risorse.
Questa accortezza dovrà essere svolta in concomitanza con l’eliminazione delle risorse inutili o duplicate e con una cadenza di pubblicazione ricca e sempre aggiornata.
Inoltre dovrai rendere i contenuti snelli e lineari, dosando bene i link interni e quelli esterni e fornendo al motore tutte le informazioni utili a stabilire se un sito meriti o meno autorevolezza e link di qualità.
Pubblicato: | Aggiornamento: