Het Robots.txt-bestand vertelt zoekmachines hoe ze een website kunnen crawlen, wat het een ongelooflijk krachtige SEO-tool maakt. In dit artikel laten we je zien hoe je een perfect robots.txt-bestand voor SEO kunt maken.
Met behulp van WordPress een robots.txt optimaliseren. Aan de slag!
Wat is een robots.txt-bestand?
Robots.txt is een tekstbestand dat website-eigenaren kunnen maken om bots met zoekmachines te vertellen hoe ze pagina’s op hun site moeten crawlen en indexeren.
Het wordt meestal opgeslagen in de hoofdmap, ook wel de hoofdmap van uw website genoemd. De basisindeling voor een robots.txt-bestand ziet er als volgt uit:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Je kan meerdere instructies hebben om specifieke URL’s toe te staan of te weigeren en meerdere sitemaps toe te voegen. Als je een URL niet toestaat, gaan zoekmachine bots ervan uit dat ze deze mogen crawlen.
Dit is hoe een robots.txt-voorbeeldbestand eruit kan zien:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
In het bovenstaande robots.txt-voorbeeld hebben we zoekmachines toegestaan bestanden in onze WordPress-uploadmap te crawlen en te indexeren.
Daarna hebben we zoekrobots niet toegestaan van plug-ins voor crawlen en indexeren en WordPress-beheerdersmappen.
Ten slotte hebben we de URL van onze XML-sitemap verstrekt.
Heb je een Robots.txt-bestand nodig voor een WordPress-site?
Als je geen robots.txt-bestand heeft, zullen zoekmachines de website nog steeds doorzoeken en indexeren. Je kan zoekmachines echter niet vertellen welke pagina’s of mappen ze niet moeten doorzoeken.
Dit heeft niet veel invloed wanneer je voor het eerst een blog start en niet veel inhoud hebt.
Naarmate de website groeit en er veel inhoud is, wil je waarschijnlijk beter weten hoe een website wordt gecrawld en geïndexeerd.
Waarom?
Zoekrobots hebben een crawlquotum voor elke website.
Dit betekent dat ze tijdens een crawlsessie een bepaald aantal pagina’s crawlen. Als ze niet klaar zijn met het crawlen van alle pagina’s op de site, komen ze terug en gaan ze door met crawlen in de volgende sessie.
Dit kan de indexeringssnelheid van een website vertragen.
Je kan dit oplossen door te voorkomen dat zoekrobots proberen onnodige pagina’s zoals de WordPress-beheerpagina’s, plug-in bestanden en themamap te crawlen.
Door onnodige pagina’s niet toe te staan, sla je de crawlquotum op. Dit helpt zoekmachines om nog meer pagina’s op uw site te doorzoeken en deze zo snel mogelijk te indexeren.
Een andere goede reden om het robots.txt-bestand te gebruiken, is wanneer je wilt voorkomen dat zoekmachines een bericht of pagina op de website indexeren.
Het is niet de veiligste manier om inhoud voor het grote publiek te verbergen, maar het helpt je voorkomen dat deze in zoekresultaten worden weergegeven.
Hoe ziet een ideaal Robots.txt-bestand eruit?
Veel populaire blogs gebruiken een heel eenvoudig robots.txt-bestand. Hun inhoud kan variëren, afhankelijk van de behoeften van de specifieke site:
User-agent: *
Disallow:
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
Met dit robots.txt-bestand kunnen alle bots alle inhoud indexeren en krijgen ze een link naar de XML-sitemaps van de website.
Voor WordPress-sites raden we de volgende regels aan in het robots.txt-bestand:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
Door sitemaps aan het robots.txt-bestand toe te voegen, maak je het voor Google-bots gemakkelijk om alle pagina’s op een site te vinden.
Nu je weet hoe een ideaal robots.txt-bestand eruitziet, gaan we eens kijken hoe je een robots.txt-bestand kunt maken in WordPress.
Hoe maak je een Robots.txt-bestand in WordPress?
Er zijn twee manieren om een robots.txt-bestand in WordPress te maken. Je kan de methode kiezen die voor jou het beste werkt.
Methode 1: Bestand Robots.txt bewerken met Yoast SEO
Als je de Yoast SEO-plug-in gebruikt, wordt deze geleverd met een robots.txt-bestandsgenerator.
Je kan het gebruiken om een robots.txt-bestand rechtstreeks vanuit een WordPress-beheergebied te maken en te bewerken.
Ga gewoon naar de pagina SEO »Tools in WordPress-admin en klik op de koppeling Bestandseditor.
Op de volgende pagina toont Yoast SEO-pagina jouw bestaande robots.txt-bestand.
Als je geen robots.txt-bestand hebt, genereert Yoast SEO een robots.txt-bestand voor jou.
Standaard zal de robots.txt-bestandsgenerator van Yoast SEO de volgende regels toevoegen aan het robots.txt – bestand:
User-agent: *
Disallow: /
Het is belangrijk dat je deze tekst verwijdert, omdat deze blokkeert dat alle zoekmachines de website niet kunnen doorzoeken.
Nadat je de standaardtekst hebt verwijderd, kan je doorgaan en het eigen robots.txt-regels toevoegen. We raden aan de ideale robots.txt-indeling te gebruiken die we hierboven hebben gedeeld.
Vergeet niet op de knop ‘Save robots.txt file’ te klikken om de wijzigingen op te slaan.
Methode 2. Bewerk het bestand Robots.txt handmatig met FTP
Voor deze methode moet je een FTP-client gebruiken om het robots.txt-bestand te bewerken.
Maak eenvoudig verbinding met uw WordPress-hostingaccount met behulp van een FTP-client.
Eenmaal binnen, kan je het robots.txt-bestand zien in de hoofdmap van de website.
Als je er geen ziet, heb je waarschijnlijk geen robots.txt-bestand. In dat geval kan je gewoon doorgaan en er eentje maken.
Robots.txt is een tekstbestand zonder opmaak, wat betekent dat je het naar een computer kunt downloaden en het kunt bewerken met elke teksteditor zoals Kladblok of TextEdit.
Nadat je de wijzigingen hebt opgeslagen, kan je deze opnieuw uploaden naar de hoofdmap van de website.
Hoe een Robots.txt-bestand testen?
Nadat je het robots.txt-bestand hebt gemaakt, is het altijd een goed idee om het te testen met een robots.txt-tester.
Er zijn veel robots.txt-testtools beschikbaar, maar we raden aan de tool in Google Search Console te gebruiken.
Meld je aan bij Google Search Console-account en ga vervolgens naar de oude website van de Google Search Console.
Hiermee ga je naar de oude interface van Google Search Console. Vanaf hier moet je het hulpprogramma robots.txt-tester starten onder het menu ‘Crawl’.
De tool haalt automatisch het robots.txt-bestand van de website op en markeert de fouten en waarschuwingen als deze worden gevonden.
En ook nog i.v.m robots.txt optimaliseren
Het doel van het optimaliseren van uw robots.txt-bestand is om te voorkomen dat zoekmachines pagina’s crawlen die niet openbaar beschikbaar zijn. Bijvoorbeeld pagina’s in eenb wp-plug-ins map of pagina’s in de WordPress-beheerdersmap. Een veel voorkomende mythe onder SEO-experts is dat het blokkeren van WordPress-categorie, tags en archiefpagina’s de crawlsnelheid verbetert en resulteert in snellere indexering en hogere rankings. Dit is niet waar. Het is ook in strijd met de richtlijnen voor webmasters van Google. We raden je aan de bovenstaande robots.txt-indeling te volgen om een robots.txt-bestand voor uw website te maken.
We hopen dat dit artikel je heeft geholpen bij het leren optimaliseren van je WordPress robots.txt-bestand voor SEO.
