Wat is Robots.txt?

Robots.txt is een standaardbestand dat door websites wordt gebruikt om te communiceren met webcrawlers en andere webrobots om hen te informeren over welke webpagina's en delen van de website ze niet mogen worden verwerkt, gescand of geïndexeerd in de zoekresultaten van zoekmachines.

Wat doet Robot.txt?

Een robots.txt-bestand vertelt webrobots, ook wel crawlers genoemd, welke pagina's of bestanden de domeineigenaar niet wil dat ze 'crawlen'. Bots bezoeken uw website en indexeren (bewaren) vervolgens uw webpagina's en bestanden voordat ze op de resultatenpagina's van zoekmachines worden weergegeven.

Als u niet wilt dat bepaalde pagina's of bestanden door Google en andere zoekmachines worden vermeld, moet u deze blokkeren met uw robots.txt-bestand.

U kunt controleren of uw website een robots.txt-bestand heeft door /robots.txt direct achter uw domeinnaam toe te voegen in de adresbalk bovenaan:

Hoe werkt Robot.txt?

Voordat een zoekmachine uw website crawlt, kijkt deze naar uw robots.txt-bestand voor instructies over welke pagina's ze mogen crawlen en indexeren in de resultaten van zoekmachines.

Robots.txt-bestanden zijn handig als u wilt dat zoekmachines het volgende niet indexeren:

1) Dubbele of kapotte pagina's op uw website.

2) Interne zoekresultatenpagina's.

3) Bepaalde delen van uw website of een heel domein.

4) Bepaalde bestanden op uw website, zoals afbeeldingen en pdf's.

5) Inlogpagina's.

6) Websites opzetten voor ontwikkelaars.

7) Uw XML sitemap.

Door robots.txt-bestanden te gebruiken, kunt u pagina's elimineren die geen waarde toevoegen, zodat zoekmachines zich in plaats daarvan concentreren op het crawlen van de belangrijkste pagina's. Zoekmachines hebben een beperkt ‘crawlbudget’ en kunnen slechts een bepaald aantal pagina’s per dag crawlen. Daarom wilt u hen de beste kans geven om uw pagina’s snel te vinden door alle irrelevante URL’s te blokkeren.

U kunt ook een crawlvertraging implementeren, waardoor robots een paar seconden moeten wachten voordat ze bepaalde pagina's crawlen, om uw server niet te overbelasten. Houd er rekening mee dat Googlebot dit commando niet accepteert, dus optimaliseer in plaats daarvan uw crawlbudget voor een robuustere en toekomstbestendige oplossing.

Hoe maak je een Robots.txt-bestand?

Als u momenteel geen robots.txt-bestand heeft, is het raadzaam er zo snel mogelijk een te maken. Om dit te doen, moet u:

1) Maak een nieuw tekstbestand en noem het “robots.txt” – Gebruik een teksteditor zoals het Kladblok-programma op Windows-pc’s of Teksteditor voor Macs en “Opslaan als” een door tekst gescheiden bestand, waarbij u ervoor zorgt dat de extensie van het bestand heet “.txt”.

2) Upload het naar de hoofdmap van uw website – Dit is meestal een map op hoofdniveau met de naam “htdocs” of “www”, waardoor deze direct achter uw domeinnaam verschijnt.

3) Maak een robots.txt-bestand voor elk subdomein – Alleen als u subdomeinen gebruikt.

4) Test – Controleer het robots.txt-bestand door uwdomein.com/robots.txt in de adresbalk van de browser in te voeren.

Lees meer hier.