SEO
Was ist Robots.txt?
Robots.txt ist eine Standarddatei, die von Websites zur Kommunikation mit Webcrawlern und anderen Webrobotern verwendet wird, um sie darüber zu informieren, welche Webseiten und Bereiche der Website sie nicht verarbeiten oder in den Suchmaschinenergebnissen scannen oder indizieren sollten.
Was macht Robot.txt?
Eine robots.txt-Datei teilt Web-Robots, auch Crawlern genannt, mit, welche Seiten oder Dateien der Domaininhaber nicht „crawlen“ soll. Bots besuchen Ihre Website und indizieren (speichern) dann Ihre Webseiten und Dateien, bevor sie sie auf den Ergebnisseiten von Suchmaschinen auflisten.
Wenn Sie nicht möchten, dass bestimmte Seiten oder Dateien von Google und anderen Suchmaschinen aufgelistet werden, müssen Sie sie mithilfe Ihrer robots.txt-Datei blockieren.
Sie können überprüfen, ob Ihre Website über eine robots.txt-Datei verfügt, indem Sie /robots.txt direkt nach Ihrem Domainnamen in der Adressleiste oben hinzufügen:
Wie funktioniert Robot.txt?
Bevor eine Suchmaschine Ihre Website crawlt, durchsucht sie Ihre robots.txt-Datei nach Anweisungen dazu, welche Seiten sie crawlen und in Suchmaschinenergebnissen indizieren darf.
Robots.txt-Dateien sind nützlich, wenn Sie möchten, dass Suchmaschinen Folgendes nicht indizieren:
1) Doppelte oder defekte Seiten auf Ihrer Website.
2) Interne Suchergebnisseiten.
3) Bestimmte Bereiche Ihrer Website oder eine ganze Domain.
4) Bestimmte Dateien auf Ihrer Website wie Bilder und PDFs.
5) Anmeldeseiten.
6) Bereitstellung von Websites für Entwickler.
7) Deine XML-Sitemap.
Durch die Verwendung von robots.txt-Dateien können Sie Seiten entfernen, die keinen Mehrwert bieten, sodass sich Suchmaschinen stattdessen auf das Crawlen der wichtigsten Seiten konzentrieren. Suchmaschinen haben ein begrenztes „Crawling-Budget“ und können nur eine bestimmte Anzahl von Seiten pro Tag crawlen. Daher möchten Sie ihnen die beste Chance geben, Ihre Seiten schnell zu finden, indem Sie alle irrelevanten URLs blockieren.
Sie können auch eine Crawl-Verzögerung implementieren, die Roboter anweist, einige Sekunden zu warten, bevor sie bestimmte Seiten crawlen, um Ihren Server nicht zu überlasten. Beachten Sie, dass der Googlebot diesen Befehl nicht akzeptiert. Optimieren Sie daher stattdessen Ihr Crawling-Budget für eine robustere und zukunftssicherere Lösung.
Wie erstelle ich eine Robots.txt-Datei?
Wenn Sie derzeit keine robots.txt-Datei haben, ist es ratsam, so schnell wie möglich eine zu erstellen. Dazu müssen Sie Folgendes tun:
1) Erstellen Sie eine neue Textdatei und nennen Sie sie „robots.txt“ – Verwenden Sie einen Texteditor wie das Notepad-Programm auf Windows-PCs oder TextEdit für Macs und „Speichern unter“ dann eine durch Text getrennte Datei, wobei Sie darauf achten, dass die Erweiterung von die Datei heißt „.txt“.
2) Laden Sie es in das Stammverzeichnis Ihrer Website hoch – Dies ist normalerweise ein Stammordner mit dem Namen „htdocs“ oder „www“, wodurch er direkt nach Ihrem Domainnamen angezeigt wird.
3) Erstellen Sie eine robots.txt-Datei für jede Subdomain – nur, wenn Sie Subdomains verwenden.
4) Test – Überprüfen Sie die robots.txt-Datei, indem Sie yourdomain.com/robots.txt in die Adressleiste des Browsers eingeben.
Lesen Sie weiter hier.
[optin-monster slug=”em8z7q6hga9elmy1dbgb”]