In questi giorni avete ricevuto un messaggio da Googlebot riguardo i file CSS e JS bloccati?

Ci sono stati molti dibattiti sulle varie community seo e per questo abbiamo deciso di fare chiarezza.

Nel lontano 1998, quando i server di Google erano nel garage di Susan Wojcicki, Googlebot leggeva semplicemente il codice sorgente della pagina. Negli anni qualcosa è cambiato, si è passato da siti “statici” a siti ricchi di animazioni, e al giorno d’oggi, molti siti web fanno un uso intensivo di Javascript.

Come sappiamo, veniva scansionato semplicemente il codice sorgente, ma col passare degli anni, quando si è iniziato a renderizzare il contenuto grazie  a Javascript, Google ha dovuto “leggere” i siti web come fanno i più moderni browser.

Per risolvere questo problema, Google ha deciso di eseguire le risorse JavaScript. Nel Maggio 2014 Google ha chiarito l’effetto di questo upgrade nel loro modo di scansionare un sito web.

In poche parole, se un risorsa esterna (CSS o JS) è bloccata (tramite il robots.txt) a Googlebot, esso non sarà in grado di visualizzare il tuo sito web correttamente, proprio come se fosse un normale utente che visita il tuo sito.

Come capire quali risorse sono bloccate a Googlebot?

Andiamo nella Search Console (Google Web Master Tool) relativa al nostro sito, sotto Scansiona c’è la voce Visualizza come Google.

Ci troveremo di fronte a tale schermata dove possiamo decidere noi quale URL far elaborare a Google.

Facciamo un test con la home del nostro sito, quindi, lasciamo l’URL vuoto e clicchiamo Recupera e Visualizza.
Nel caso in cui non ci siano risorse bloccate, ci sarà restituito come stato Fine mentre nel caso in cui abbiate il problema delle risorse bloccate avremo Stato Parziale o Errore.
Andiamo ad analizzare le risorse bloccate, esempio di un sito WordPress:

http://www.nomesito.it/wp-content/themes/tema/js/script.js

Se ci ritroviamo di fronte ad un problema simile vuol dire che nel robots.txt abbiamo bloccato tale risorsa.

Come risolvere quando Googlebot non riesce ad accedere a queste risorse?

Controlliamo il nostro file robots.txt (si trova nella directory principale) e controlliamo quale riga blocca questa risorsa.
Esempio:

User-Agent: Googlebot
 Disallow: /wp-content/

Questa riga blocca l’accesso di Googlebot alla cartella wp-content e alle sue sottocartelle (compresi file)

Cancelliamo questa riga e proviamo a fare di nuovo un recupera e visualizza

Ora dovremmo avere lo stato Fine.

Abbiamo risolto?

Sì, ma non vuol dire che lasciare tutto in Allow sia corretto.
Bloccate le cartelle che per voi non debbano essere scansionate, tramite il comando

Disallow: /path-cartella/

o una singola risorsa con

Disallow: /path-cartella/path-file.estensione (per una singola risorsa)

Ricordate, l’ordine corretto è:

User-agent:
 Disallow:
 Allow: