Il problema del crawl budget di WordPress SEO e come risolverlo

Se avete problemi con il budget del crawl SEO di WordPress, non siete i soli.

Il crawl budget è sostanzialmente la frequenza con cui i motori di ricerca visitano ed esaminano il vostro sito. Se è troppo basso, le pagine potrebbero non essere indicizzate rapidamente, il che potrebbe danneggiare le classifiche SEO e ridurre il traffico.

Ecco perché la gestione del budget per il crawling importa se si vuole migliorare la visibilità e le prestazioni del sito.

Noi di WPBeginner, uno dei nostri approcci alla gestione del crawl budget consiste nel mantenere le sitemap XML aggiornate e prive di errori utilizzando il plugin AIOSEO. E quando si parla di AIOSEO, ci sono altre caratteristiche che si possono usare per correggere il problema del crawl budget.

In questo articolo, vedremo di buttare giù il problema del crawl budget di WordPress SEO e vi mostreremo dei semplici modi per correggerlo.

Poiché l’argomento è molto vasto, lo abbiamo giù suddiviso in sezioni di facile comprensione. Ecco i diversi elementi di cui ci occuperemo in questo articolo:

Pronti? Iniziamo a fare in modo che le vostre pagine ricevano l’attenzione che meritano.

Come funziona il crawling di ricerca?

I motori di ricerca come Google utilizzano sofisticati bot o programmi informatici per visitare i siti web su Internet. Questi bot cercano le modifiche apportate al vostro sito web WordPress e le confrontano con l’indice di ricerca principale.

Supponiamo che i motori di ricerca trovino nuovi contenuti sul vostro sito. In questo caso, lo aggiungeranno al loro indice. Se trovano contenuti già presenti nell’indice ma aggiornati, aggiornano l’indice con le nuove informazioni.

I bot di ricerca seguono quindi tutti i link di una pagina e ripetono il processo per quelle pagine.

Ora, i bot si spostano da un link all’altro di una pagina, in modo simile a come i ragni reali strisciano sul web. Per questo motivo si usa il termine crawling per descrivere questa attività e a volte si vedono i bot referer come spider dei motori di ricerca.

Per una migliore SEO, dovrete assicurarvi che i motori di ricerca possano scansionare facilmente il vostro sito web.

Che cos’è il SEO Crawl Budget?

Il crawl budget SEO è il numero di volte in cui i motori di ricerca come Google effettuano il crawling delle pagine del vostro sito web.

I bot di Google scansionano miliardi di pagine ogni giorno e decidono quante pagine scansionare su ogni sito WordPress per utilizzare le loro risorse in modo saggio. Questo numero non è corretto e cambia ogni giorno in base a vari fattori. Pertanto, non esiste una quantità fissa di pagine che il bot di Google scansionerà sul vostro sito o blog.

Detto questo, i siti web più grandi e con più contenuti hanno in genere un budget più elevato per il crawling, mentre i siti web più piccoli hanno un budget inferiore.

Anche altri fattori influenzano il crawl budget, come la popolarità di un URL, la freschezza, la frequenza degli aggiornamenti e altro ancora.

Si noti che si può perdere il budget di crawl su pagine non desiderate per diversi motivi.

Ad esempio, se il vostro blog WordPress non è ottimizzato correttamente, i motori di ricerca spenderanno il vostro budget per il crawling sulle parti meno significative del blog piuttosto che sui contenuti importanti.

Allo stesso modo, potreste bloccare accidentalmente i motori di ricerca dal crawling del vostro sito web. In questo caso, il vostro sito web potrebbe non utilizzare affatto il crawl budget.

Quali sono le cause dei problemi di crawl budget di WordPress SEO?

Il modo in cui WordPress genera gli URL e i contenuti duplicati può causare problemi di crawl budget.

Ad esempio, WordPress genera automaticamente feed RSS per diverse aree del sito web. Ci sono feed RSS per:

• Il blog principale
• Categorie e tag
• Commenti su ogni pagina e post
• Post type personalizzati con URL separati per i feed RSS e altro ancora.

I link a questi feed RSS vengono aggiunti al codice sorgente HTML del vostro sito web, rendendoli così individuabili dai motori di ricerca.

Ora i motori di ricerca sono abbastanza intelligenti da riconoscere e ignorare i contenuti duplicati. Tuttavia, continueranno a strisciarli e a spendere il vostro budget per le strisciate SEO.

Inoltre, i motori di ricerca effettuano il crawling di elementi meno importanti più del necessario. Ciò include pagine di archivio, tassonomie, archivi di autori e file PDF.

Anche i plugin di WordPress o altri strumenti di terze parti possono aggiungere parametri di query agli URL di WordPress. Gli spider di Google possono considerare questi parametri di query come una pagina diversa e quindi effettuare il crawling.

Ad esempio, i parametri UTM sono utilizzati per il tracciamento di Google Analytics e una pagina con o senza questi parametri di query avrebbe lo stesso aspetto.

Ecco un esempio: https: //yourdomain.com/landingpage/?utm_source=newsletter

Questo spreca il budget per le strisciate SEO su elementi meno importanti e diventa un problema.

Come si calcola il budget per il crawl SEO?

Il budget di crawl SEO non è un numero fisso di pagine. Varia molto e non esiste un modo affidabile per prevedere quante pagine Google effettuerà il crawling del vostro sito web in un determinato giorno.

Tuttavia, è possibile farsi un’idea abbastanza precisa basandosi sulle attività di crawling recenti per vedere come Google effettua il crawling del vostro sito web.

Se non l’avete ancora fatto, dovete prima aggiungere il vostro sito web a Google Search Console. Si tratta di uno strumento gratuito fornito da Google per aiutare i proprietari di siti web a scoprire come il loro sito web sta andando in Google Search.

È sufficiente navigare nella dashboard di “Search Console”. Quindi, passare al menu “Impostazioni” dalla colonna di sinistra e fare clic su “Apri report” accanto a “Statistiche di crawling”.

Il report “Crawl” mostra una panoramica delle richieste di crawl sul sito web nelle ultime settimane.

È possibile passare il mouse sul grafico per vedere quante pagine sono state richieste ogni giorno.

Questo dà un’idea della velocità media di crawling del sito durante questo periodo.

Di seguito, è possibile vedere una ripartizione dell’attività di crawling per codice di risposta, tipi di file, scopo e tipo di bot di Google.

Da qui si può vedere quanto il budget per il crawl viene speso per errori, syndication (feed RSS), JavaScript, CSS, immagini e altro ancora.

In questo modo si ottiene un’istantanea degli elementi che si possono ottimizzare per utilizzare in modo più efficiente il budget per le scansioni SEO. Ad esempio, se si verificano molti errori 404, è possibile utilizzare un plugin di reindirizzamento per garantire che i crawler arrivino su contenuti utili.

(Più avanti nell’articolo, mostreremo come reindirizzare gli errori di crawl passo dopo passo).

Perché dovreste preoccuparvi del SEO Crawl Budget?

I motori di ricerca devono effettuare il crawling del vostro sito web in modo efficiente per indicizzare i contenuti in tempo e in modo corretto. Tuttavia, se il budget per il crawling SEO viene sprecato, i contenuti più importanti e più recenti potrebbero non essere crawlati in tempo.

Potrebbero volerci settimane prima che i motori di ricerca notino gli aggiornamenti dei vostri vecchi articoli o scoprano nuovi contenuti.

Perderete traffico dai motori di ricerca, il vostro posizionamento SEO potrebbe non migliorare e perderete denaro dalle vendite o dagli introiti pubblicitari.

Come ottimizzare facilmente il bilancio delle strisciate SEO in WordPress

Il modo più semplice e sicuro per ottimizzare il budget di crawl SEO in WordPress è utilizzare All in One SEO for WordPress, o AIOSEO.

È il miglior plugin SEO per WordPress con uno strumento integrato di ottimizzazione del crawl SEO.

Per iniziare, installiamo e attiviamo innanzitutto il plugin All in One SEO for WordPress. Se non sapete come fare, potete consultare la nostra guida passo-passo su come installare un plugin per WordPress.

Dopo l’attivazione, il plugin mostra una procedura di configurazione guidata. È sufficiente seguire le istruzioni sullo schermo per configurare il plugin.

Successivamente, è possibile accedere alla sezione All in One SEO ” Aspetto della ricerca dall’area di amministrazione di WordPress.

Quindi, passare alla scheda “Avanzate”.

Da qui, scorriamo verso il fondo della pagina fino a individuare l’opzione “Crawl Cleanup”.

Fare clic sulla levetta per abilitare la caratteristica “Crawl Cleanup”.

Ora, la prima opzione che si vedrà nella pulizia del crawl è quella di rimuovere gli argomenti della query.

Di seguito, è possibile fornire un elenco di argomenti di query che si desidera consentire. Gli utenti avanzati possono utilizzare le espressioni regolari Regex.

Successivamente, si vedranno le opzioni per i Feed RSS di WordPress. All in One SEO vi mostrerà tutti i tipi di Feed RSS generati da WordPress e potrete disabilitare i Feed RSS meno importanti.

Ad esempio, se avete un blog con un solo autore, potete disabilitare la caratteristica “Feed degli autori”.

Una volta disattivati tutti i feed RSS indesiderati, non dimenticate di fare clic sul pulsante “Salva modifiche” per memorizzare le impostazioni.

Come impostare i reindirizzamenti per le pagine di errore

All in One SEO imposta automaticamente i reindirizzamenti per i feed che avete disabilitato. Ad esempio, un feed RSS di tag reindirizzerà gli utenti alla pagina dell’archivio dei tag.

È possibile accedere alla dashboard di Google Search Console e aprire il report delle statistiche di crawl. Qui verrà visualizzato un elenco delle pagine che hanno dato luogo a errori.

A questo punto, a seconda del codice di stato, è possibile impostare dei reindirizzamenti per quelle pagine.

Ad esempio, è possibile reindirizzare gli errori 404 a una pagina simile. È inoltre possibile controllare altre pagine con errori e impostare per esse dei reindirizzamenti.

All in One SEO rende molto semplice l’impostazione dei reindirizzamenti sul vostro sito web WordPress. Basta andare alla pagina All in One SEO ” Reindirizzamenti e aggiungere il vecchio URL nel campo “URL di origine” e il nuovo URL nel campo “URL di destinazione”.

Fare clic sul pulsante “Add Redirect” per salvare le impostazioni.

In seguito, è sufficiente ripetere la procedura per impostare altri reindirizzamenti, se necessario. Per maggiori dettagli e metodi alternativi, consultate la nostra guida su come impostare i reindirizzamenti in WordPress.

Suggerimento bonus: Creare una Sitemap in WordPress

Una sitemap XML è un file speciale che elenca tutte le pagine del vostro sito web in un formato facilmente leggibile dai motori di ricerca come Google. Si tratta di una mappa che consente ai motori di ricerca di trovare e indicizzare i vostri contenuti.

La presenza di una sitemap XML non aumenta direttamente le classifiche di ricerca, ma aiuta i motori di ricerca a trovare e indicizzare una maggiore quantità di contenuti.

Questo è particolarmente utile per i nuovi siti web o blog senza molti backlink, in quanto aiuta i motori di ricerca a scoprire tutte le pagine. Anche per i siti consolidati, le sitemap evidenziano le pagine di ricerca importanti e la frequenza di aggiornamento, facilitando l’indicizzazione dei contenuti da parte dei motori di ricerca.

Per saperne di più su questo argomento, potete selezionare la nostra guida su cos’è una sitemap XML e come crearne una in WordPress.

Speriamo che questo articolo vi abbia aiutato a conoscere il problema del crawl budget SEO di WordPress e come correggerlo. Potreste anche voler consultare questi consigli degli esperti sull’utilizzo di Google Search Console per aumentare il traffico o vedere esempi pratici di come migliorare il tasso di clic organico in WordPress.

Se questo articolo vi è piaciuto, iscrivetevi al nostro canale YouTube per le esercitazioni video su WordPress. Potete trovarci anche su Twitter e Facebook.