Vad är Robots.txt?

Robots.txt är en standardfil som används av webbplatser för att kommunicera med sökrobotar och andra webbrobotar för att informera dem om vilka webbsidor och områden på webbplatsen de inte ska bearbetas eller skannas eller indexeras i sökmotorns resultat.

Vad gör Robot.txt?

En robots.txt-fil berättar för webbrobotar, även känd som sökrobotar, vilka sidor eller filer som domänägaren inte vill att de ska "genomsöka". Bots besöker din webbplats och indexerar (spara) sedan dina webbsidor och filer innan du listar dem på sökmotorernas resultatsidor.

Om du inte vill att vissa sidor eller filer ska listas av Google och andra sökmotorer måste du blockera dem med din robots.txt-fil.

Du kan kontrollera om din webbplats har en robots.txt-fil genom att lägga till /robots.txt direkt efter ditt domännamn i adressfältet högst upp:

Hur fungerar Robot.txt?

Innan en sökmotor genomsöker din webbplats, tittar den på din robots.txt-fil för instruktioner om vilka sidor de får genomsöka och indexera i sökmotorresultat.

Robots.txt-filer är användbara om du vill att sökmotorer inte ska indexera:

1) Duplicera eller trasiga sidor på din webbplats.

2) Interna sökresultatsidor.

3) Vissa delar av din webbplats eller en hel domän.

4) Vissa filer på din webbplats som bilder och PDF-filer.

5) Inloggningssidor.

6) Ställa upp webbplatser för utvecklare.

7) Din XML sitemap.

Genom att använda robots.txt-filer kan du eliminera sidor som inte tillför något värde, så sökmotorer fokuserar på att genomsöka de viktigaste sidorna istället. Sökmotorer har en begränsad "genomsökningsbudget" och kan bara genomsöka ett visst antal sidor per dag, så du vill ge dem den bästa chansen att hitta dina sidor snabbt genom att blockera alla irrelevanta webbadresser.

Du kan också implementera en genomsökningsfördröjning, som säger åt robotar att vänta några sekunder innan de genomsöker vissa sidor, för att inte överbelasta din server. Tänk på att Googlebot inte godkänner det här kommandot, så optimera istället din genomsökningsbudget för en mer robust och framtidssäker lösning.

Hur skapar jag en Robots.txt-fil?

Om du för närvarande inte har en robots.txt-fil, är det lämpligt att skapa en så snart som möjligt. För att göra det måste du:

1) Skapa en ny textfil och döp den till "robots.txt" – Använd en textredigerare såsom programmet Anteckningar på Windows-datorer eller TextEdit för Mac och sedan "Spara som" en textavgränsad fil, och se till att tillägget av filen heter ".txt".

2) Ladda upp den till rotkatalogen på din webbplats - Detta är vanligtvis en rotnivåmapp som heter "htdocs" eller "www" som gör att den visas direkt efter ditt domännamn.

3) Skapa en robots.txt-fil för varje underdomän – Endast om du använder några underdomäner.

4) Testa – Kontrollera robots.txt-filen genom att ange yourdomain.com/robots.txt i webbläsarens adressfält.

Läs mer här..