Hoe u uw WordPress Robots.txt kunt optimaliseren voor SEO

Onlangs vroeg een van onze lezers ons om tips voor het optimaliseren van het robots.txt-bestand om de SEO te verbeteren. Robots.txt-bestand vertelt zoekmachines hoe ze uw website kunnen crawlen, wat het een ongelooflijk krachtige SEO-tool maakt. In dit artikel laten we u zien hoe u een perfect robots.txt-bestand voor SEO maakt.


WordPress robots.txt-bestand gebruiken om SEO te verbeteren

Wat is een robots.txt-bestand?

Robots.txt is een tekstbestand dat website-eigenaren kunnen maken om bots van zoekmachines te vertellen hoe ze pagina’s op hun site moeten crawlen en indexeren.

Het wordt meestal opgeslagen in de hoofdmap, ook wel de hoofdmap van uw website genoemd. Het basisformaat voor een robots.txt-bestand ziet er als volgt uit:

User-agent: [naam user-agent]
Niet toestaan: [URL-tekenreeks mag niet worden gecrawld]

User-agent: [naam user-agent]
Toestaan: [URL-tekenreeks die moet worden gecrawld]

Sitemap: [URL van uw XML-sitemap]

U kunt meerdere regels met instructies hebben om specifieke URL’s toe te staan ​​of niet toe te staan ​​en meerdere sitemaps toe te voegen. Als u een URL niet weigert, gaan bots van zoekmachines ervan uit dat ze deze mogen crawlen.

Hier is hoe een robots.txt-voorbeeldbestand eruit kan zien:

User-Agent: *
Toestaan: / wp-content / uploads /
Disallow: / wp-content / plugins /
Niet toestaan: / wp-admin /

Sitemap: https://example.com/sitemap_index.xml

In het bovenstaande robots.txt-voorbeeld hebben we zoekmachines toegestaan ​​om bestanden in onze WordPress uploads-map te crawlen en te indexeren.

Daarna hebben we zoekrobots niet toegestaan ​​om plug-ins en WordPress-beheerdersmappen te crawlen en te indexeren.

Ten slotte hebben we de URL van onze XML-sitemap opgegeven.

Heeft u een Robots.txt-bestand nodig voor uw WordPress-site?

Als u geen robots.txt-bestand heeft, crawlen en indexeren zoekmachines uw website nog steeds. U kunt zoekmachines echter niet vertellen welke pagina’s of mappen ze niet mogen crawlen.

Dit heeft niet veel invloed wanneer u voor het eerst een blog start en niet veel inhoud heeft.

Maar naarmate uw website groeit en u veel inhoud heeft, wilt u waarschijnlijk meer controle hebben over hoe uw website wordt gecrawld en geïndexeerd.

Hier is waarom.

Zoekbots hebben een crawlquotum voor elke website.

Dit betekent dat ze tijdens een crawlsessie een bepaald aantal pagina’s crawlen. Als ze niet alle pagina’s op uw site hebben gecrawld, komen ze terug en hervatten ze de crawl in de volgende sessie.

Dit kan de indexeringssnelheid van uw website vertragen.

U kunt dit oplossen door niet toe te staan ​​dat zoekrobots proberen onnodige pagina’s zoals uw WordPress-beheerderspagina’s, plug-inbestanden en themamap te crawlen.

Door onnodige pagina’s niet toe te staan, slaat u uw crawlquotum op. Dit helpt zoekmachines om nog meer pagina’s op uw site te crawlen en deze zo snel mogelijk te indexeren.

Een andere goede reden om het robots.txt-bestand te gebruiken, is wanneer u wilt voorkomen dat zoekmachines een bericht of pagina op uw website indexeren.

Het is niet de veiligste manier om inhoud voor het grote publiek te verbergen, maar het zal u helpen voorkomen dat ze in zoekresultaten worden weergegeven.

Hoe zou een ideaal Robots.txt-bestand eruit moeten zien?

Veel populaire blogs gebruiken een heel eenvoudig robots.txt-bestand. Hun inhoud kan variëren, afhankelijk van de behoeften van de specifieke site:

User-agent: *
Niet toestaan:

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.voorbeeld.com/pagina-sitemap.xml

Met dit robots.txt-bestand kunnen alle bots alle inhoud indexeren en krijgen ze een link naar de XML-sitemaps van de website.

Voor WordPress-sites raden we de volgende regels aan in het robots.txt-bestand:

User-Agent: *
Toestaan: / wp-content / uploads /
Disallow: / wp-content / plugins /
Niet toestaan: / wp-admin /
Disallow: /readme.html
Niet toestaan: / refer /

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.voorbeeld.com/pagina-sitemap.xml

Dit vertelt zoekrobots om alle WordPress-afbeeldingen en -bestanden te indexeren. Het staat zoekbots niet toe om WordPress-plug-inbestanden, WordPress-beheergebied, het WordPress-leesmij-bestand en gelieerde links te indexeren.

Door sitemaps toe te voegen aan het robots.txt-bestand, maakt u het voor Google-bots gemakkelijk om alle pagina’s op uw site te vinden.

Nu je weet hoe een ideaal robots.txt-bestand eruit ziet, gaan we kijken hoe je een robots.txt-bestand kunt maken in WordPress.

Hoe maak je een Robots.txt-bestand in WordPress?

Er zijn twee manieren om een ​​robots.txt-bestand in WordPress te maken. U kunt de methode kiezen die het beste bij u past.

Methode 1: Robots.txt-bestand bewerken met Yoast SEO

Als u de Yoast SEO-plug-in gebruikt, wordt deze geleverd met een robots.txt-bestandsgenerator.

U kunt het gebruiken om rechtstreeks vanuit uw WordPress-beheerdersgedeelte een robots.txt-bestand te maken en te bewerken.

Ga gewoon naar SEO »Tools pagina in uw WordPress admin en klik op de File Editor link.

Bestandseditor in Yoast SEO

Op de volgende pagina toont de Yoast SEO-pagina uw bestaande robots.txt-bestand.

Als u geen robots.txt-bestand heeft, genereert Yoast SEO een robots.txt-bestand voor u.

Maak een robots.txt-bestand met Yoast SEO

De robots.txt-bestandsgenerator van Yoast SEO voegt standaard de volgende regels toe aan uw robots.txt-bestand:

User-agent: *
Niet toestaan: /

Het is belangrijk dat u deze tekst verwijdert omdat het alle zoekmachines blokkeert om uw website te crawlen.

Nadat u de standaardtekst heeft verwijderd, kunt u doorgaan en uw eigen robots.txt-regels toevoegen. We raden aan het ideale robots.txt-formaat te gebruiken dat we hierboven hebben gedeeld.

Als u klaar bent, vergeet dan niet op de knop ‘Save robots.txt file’ te klikken om uw wijzigingen op te slaan.

Methode 2. Bewerk het Robots.txt-bestand handmatig met FTP

Voor deze methode heeft u een FTP-client nodig om het robots.txt-bestand te bewerken.

Maak eenvoudig verbinding met uw WordPress-hostingaccount via een FTP-client.

Eenmaal binnen ziet u het robots.txt-bestand in de hoofdmap van uw website.

WordPress robots.txt-bestand bewerken met FTP

Als je er geen ziet, heb je waarschijnlijk geen robots.txt-bestand. In dat geval kunt u gewoon doorgaan en er een maken.

Maak een robots.txt-bestand met FTP

Robots.txt is een gewoon tekstbestand, wat betekent dat je het naar je computer kunt downloaden en het kunt bewerken met elke gewone teksteditor zoals Kladblok of TextEdit.

Nadat u uw wijzigingen heeft opgeslagen, kunt u deze terug uploaden naar de hoofdmap van uw website.

Hoe u uw Robots.txt-bestand kunt testen?

Nadat u uw robots.txt-bestand heeft gemaakt, is het altijd een goed idee om het te testen met een tool voor het testen van robots.txt.

Er zijn veel tools voor het testen van robots.txt, maar we raden aan die in Google Search Console te gebruiken.

Log eenvoudig in op uw Google Search Console-account en schakel vervolgens over naar de oude Google Search Console-website.

Schakel over naar de oude Google Search Console

Hiermee gaat u naar de oude Google Search Console-interface. Vanaf hier moet u de tool voor het testen van robots.txt starten onder het menu ‘Crawlen’.

Robots.txt tester tool

De tool haalt automatisch het robots.txt-bestand van uw website op en markeert eventuele fouten en waarschuwingen.

Laatste gedachten

Het doel van het optimaliseren van uw robots.txt-bestand is te voorkomen dat zoekmachines pagina’s crawlen die niet openbaar beschikbaar zijn. Bijvoorbeeld pagina’s in uw wp-plugins-map of pagina’s in uw WordPress admin-map.

Een veel voorkomende mythe onder SEO-experts is dat het blokkeren van WordPress-categorie, tags en archiefpagina’s de crawlsnelheid zal verbeteren en zal resulteren in snellere indexering en hogere rankings.

Dit is niet waar. Het is ook in strijd met de richtlijnen voor webmasters van Google.

We raden u aan de bovenstaande robots.txt-indeling te volgen om een ​​robots.txt-bestand voor uw website te maken.

We hopen dat dit artikel je heeft geholpen om te leren hoe je je WordPress robots.txt-bestand kunt optimaliseren voor SEO. Misschien wilt u ook onze ultieme WordPress SEO-gids en de beste WordPress SEO-tools om uw website te laten groeien.

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me
    Like this post? Please share to your friends:
    Adblock
    detector
    map