Come ottimizzare WordPress Robots.txt per SEO

Recentemente uno dei nostri lettori ci ha chiesto consigli su come ottimizzare il file robots.txt per migliorare la SEO. Il file Robots.txt indica ai motori di ricerca come eseguire la scansione del tuo sito Web, rendendolo uno strumento SEO incredibilmente potente. In questo articolo, ti mostreremo come creare un file robots.txt perfetto per SEO.


Utilizzo del file robots.txt di WordPress per migliorare la SEO

Che cos’è il file robots.txt?

Robots.txt è un file di testo che i proprietari di siti Web possono creare per indicare ai robot dei motori di ricerca come eseguire la scansione e l’indicizzazione delle pagine sul loro sito.

In genere è memorizzato nella directory principale, nota anche come cartella principale del sito Web. Il formato di base per un file robots.txt è simile al seguente:

User-agent: [nome user-agent]
Non consentire: [stringa URL da non sottoporre a scansione]

User-agent: [nome user-agent]
Consenti: [stringa URL da sottoporre a scansione]

Sitemap: [URL della tua Sitemap XML]

Puoi disporre di più righe di istruzioni per consentire o non consentire URL specifici e aggiungere più Sitemap. Se non si proibisce un URL, i robot dei motori di ricerca presumono che gli sia permesso di scansionarlo.

Ecco come può apparire un file di esempio robots.txt:

User-Agent: *
Consenti: / wp-content / uploads /
Non consentire: / wp-content / plugins /
Non consentire: / wp-admin /

Mappa del sito: https://example.com/sitemap_index.xml

Nell’esempio sopra robots.txt, abbiamo consentito ai motori di ricerca di eseguire la scansione e l’indicizzazione dei file nella nostra cartella dei caricamenti di WordPress.

Successivamente, non abbiamo consentito ai bot di ricerca di eseguire la scansione e l’indicizzazione dei plug-in e delle cartelle di amministrazione di WordPress.

Infine, abbiamo fornito l’URL della nostra sitemap XML.

Hai bisogno di un file Robots.txt per il tuo sito WordPress?

Se non disponi di un file robots.txt, i motori di ricerca eseguiranno comunque la scansione e l’indicizzazione del tuo sito web. Tuttavia, non sarai in grado di dire ai motori di ricerca quali pagine o cartelle non devono sottoporre a scansione.

Ciò non avrà molto impatto quando avvierai un blog per la prima volta e non avrai molti contenuti.

Tuttavia, man mano che il tuo sito Web cresce e hai molti contenuti, probabilmente vorrai avere un migliore controllo su come il tuo sito Web viene sottoposto a scansione e indicizzato.

Ecco perché.

I robot di ricerca hanno una quota di scansione per ogni sito Web.

Ciò significa che eseguono la scansione di un determinato numero di pagine durante una sessione di ricerca per indicizzazione. Se non finiscono di eseguire la scansione di tutte le pagine del tuo sito, torneranno e riprenderanno la scansione nella sessione successiva.

Questo può rallentare il tasso di indicizzazione del tuo sito web.

È possibile risolvere questo problema impedendo ai bot di ricerca di tentare di eseguire la scansione di pagine non necessarie come le pagine di amministrazione di WordPress, i file dei plug-in e la cartella dei temi.

Non consentendo le pagine non necessarie, si salva la quota di scansione. Ciò consente ai motori di ricerca di eseguire la scansione di un numero ancora maggiore di pagine del sito e di indicizzarle il più rapidamente possibile.

Un altro buon motivo per usare il file robots.txt è quando vuoi impedire ai motori di ricerca di indicizzare un post o una pagina sul tuo sito web.

Non è il modo più sicuro per nascondere i contenuti al grande pubblico, ma ti aiuterà a impedire che vengano visualizzati nei risultati di ricerca.

Che aspetto dovrebbe avere un file Robots.txt ideale?

Molti blog popolari usano un file robots.txt molto semplice. Il loro contenuto può variare, a seconda delle esigenze del sito specifico:

Agente utente: *
Disallow:

Mappa del sito: http://www.example.com/post-sitemap.xml
Mappa del sito: http://www.example.com/page-sitemap.xml

Questo file robots.txt consente a tutti i bot di indicizzare tutto il contenuto e fornisce loro un link alle sitemap XML del sito Web.

Per i siti WordPress, consigliamo le seguenti regole nel file robots.txt:

User-Agent: *
Consenti: / wp-content / uploads /
Non consentire: / wp-content / plugins /
Non consentire: / wp-admin /
Non consentire: /readme.html
Non consentire: / refer /

Mappa del sito: http://www.example.com/post-sitemap.xml
Mappa del sito: http://www.example.com/page-sitemap.xml

Questo dice ai robot di ricerca di indicizzare tutte le immagini e i file di WordPress. Non consente ai bot di ricerca di indicizzare i file dei plugin di WordPress, l’area di amministrazione di WordPress, il file Leggimi di WordPress e i collegamenti di affiliazione.

Aggiungendo sitemap al file robots.txt, fai in modo che i bot di Google trovino tutte le pagine del tuo sito.

Ora che sai che aspetto ha un file robots.txt ideale, diamo un’occhiata a come è possibile creare un file robots.txt in WordPress.

Come creare un file Robots.txt in WordPress?

Esistono due modi per creare un file robots.txt in WordPress. Puoi scegliere il metodo che funziona meglio per te.

Metodo 1: modifica del file Robots.txt utilizzando Yoast SEO

Se si utilizza il plug-in Yoast SEO, viene fornito con un generatore di file robots.txt.

Puoi usarlo per creare e modificare un file robots.txt direttamente dalla tua area di amministrazione di WordPress.

Vai semplicemente a SEO »Strumenti pagina nell’amministratore di WordPress e fare clic sul collegamento Editor file.

Strumento di editor di file in Yoast SEO

Nella pagina successiva, la tua pagina SEO mostrerà il tuo file robots.txt esistente.

Se non disponi di un file robots.txt, Yoast SEO genererà un file robots.txt per te.

Crea il file robots.txt usando Yoast SEO

Per impostazione predefinita, il generatore di file robots.txt di Yoast SEO aggiungerà le seguenti regole al tuo file robots.txt:

Agente utente: *
Non consentire: /

È importante che elimini questo testo perché impedisce a tutti i motori di ricerca di eseguire la scansione del tuo sito Web.

Dopo aver eliminato il testo predefinito, puoi andare avanti e aggiungere le tue regole robots.txt. Ti consigliamo di utilizzare il formato robots.txt ideale che abbiamo condiviso sopra.

Al termine, non dimenticare di fare clic sul pulsante “Salva file robots.txt” per memorizzare le modifiche.

Metodo 2. Modifica il file Robots.txt manualmente tramite FTP

Per questo metodo, è necessario utilizzare un client FTP per modificare il file robots.txt.

Connettiti semplicemente al tuo account di hosting WordPress usando un client FTP.

Una volta dentro, sarai in grado di vedere il file robots.txt nella cartella principale del tuo sito web.

Modifica del file robots.txt di WordPress tramite FTP

Se non ne vedi uno, probabilmente non hai un file robots.txt. In tal caso, puoi semplicemente andare avanti e crearne uno.

Crea il file robots.txt usando FTP

Robots.txt è un file di testo semplice, il che significa che puoi scaricarlo sul tuo computer e modificarlo utilizzando qualsiasi editor di testo semplice come Blocco note o TextEdit.

Dopo aver salvato le modifiche, puoi caricarle di nuovo nella cartella principale del tuo sito web.

Come testare il tuo file Robots.txt?

Dopo aver creato il file robots.txt, è sempre una buona idea testarlo utilizzando uno strumento di tester robots.txt.

Esistono molti strumenti di tester robots.txt, ma ti consigliamo di utilizzare quello all’interno di Google Search Console.

Accedi al tuo account Google Search Console, quindi passa al vecchio sito Web di Google Search Console.

Passa alla vecchia console di ricerca di Google

Questo ti porterà alla vecchia interfaccia di Google Search Console. Da qui è necessario avviare lo strumento tester robots.txt che si trova nel menu “Scansione”.

Strumento tester robots.txt

Lo strumento recupererà automaticamente il file robots.txt del tuo sito Web ed evidenzierà gli errori e gli avvisi, se presenti.

Pensieri finali

L’obiettivo di ottimizzare il file robots.txt è impedire ai motori di ricerca di eseguire la scansione di pagine non disponibili pubblicamente. Ad esempio, pagine nella cartella wp-plugins o pagine nella cartella di amministrazione di WordPress.

Un mito comune tra gli esperti SEO è che il blocco delle categorie, dei tag e delle pagine di WordPress migliorerà la velocità di scansione e si tradurrà in una più veloce indicizzazione e classifiche più alte.

Questo non è vero. È inoltre contrario alle linee guida per i webmaster di Google.

Ti consigliamo di seguire il formato robots.txt sopra per creare un file robots.txt per il tuo sito web.

Speriamo che questo articolo ti abbia aiutato a imparare come ottimizzare il tuo file robots.txt di WordPress per SEO. Potresti anche voler vedere la nostra guida SEO per WordPress definitiva e i migliori strumenti SEO per WordPress per far crescere il tuo sito web.

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me