SEO
Co to jest plik Robots.txt?
Robots.txt to standardowy plik używany przez strony internetowe do komunikowania się z robotami indeksującymi i innymi robotami internetowymi w celu informowania ich o tym, które strony i obszary witryny nie powinny być przetwarzane, skanowane lub indeksowane w wynikach wyszukiwania.
Co robi Robot.txt?
Plik robots.txt informuje roboty internetowe, zwane także robotami indeksującymi, których stron lub plików właściciel domeny nie chce, aby „przeszukiwały”. Boty odwiedzają Twoją witrynę, a następnie indeksują (zapisują) Twoje strony internetowe i pliki przed umieszczeniem ich na stronach wyników wyszukiwania.
Jeśli nie chcesz, aby określone strony lub pliki były wyświetlane przez Google i inne wyszukiwarki, musisz je zablokować za pomocą pliku robots.txt.
Możesz sprawdzić, czy Twoja witryna zawiera plik robots.txt, dodając /robots.txt bezpośrednio po nazwie domeny w pasku adresu u góry:
Jak działa plik Robot.txt?
Zanim wyszukiwarka zaindeksuje Twoją witrynę, przegląda plik robots.txt w celu uzyskania instrukcji dotyczących stron, które może przeszukiwać i indeksować w wynikach wyszukiwania.
Pliki Robots.txt są przydatne, jeśli chcesz, aby wyszukiwarki nie indeksowały:
1) Zduplikowane lub uszkodzone strony w Twojej witrynie.
2) Strony z wynikami wyszukiwania wewnętrznego.
3) Niektóre obszary Twojej witryny lub cała domena.
4) Niektóre pliki w Twojej witrynie, takie jak obrazy i pliki PDF.
5) Strony logowania.
6) Pozycjonowanie stron internetowych dla programistów.
7) Twój XML sitemap.
Korzystanie z plików robots.txt pozwala wyeliminować strony, które nie wnoszą żadnej wartości, więc wyszukiwarki skupiają się zamiast tego na indeksowaniu najważniejszych stron. Wyszukiwarki mają ograniczony „budżet indeksowania” i mogą przeszukiwać tylko określoną liczbę stron dziennie, dlatego chcesz zapewnić im największą szansę na szybkie znalezienie Twoich stron poprzez blokowanie wszystkich nieistotnych adresów URL.
Możesz także wdrożyć opóźnienie indeksowania, które każe robotom odczekać kilka sekund przed zaindeksowaniem określonych stron, aby nie przeciążać serwera. Pamiętaj, że Googlebot nie potwierdza tego polecenia, więc zamiast tego zoptymalizuj budżet indeksowania, aby uzyskać bardziej niezawodne i przyszłościowe rozwiązanie.
Jak utworzyć plik Robots.txt?
Jeśli nie masz jeszcze pliku robots.txt, zaleca się jego jak najszybsze utworzenie. Aby to zrobić, musisz:
1) Utwórz nowy plik tekstowy i nadaj mu nazwę „robots.txt” – użyj edytora tekstu, takiego jak Notatnik na komputerach PC z systemem Windows lub TextEdit na komputerach Mac, a następnie „Zapisz jako” plik rozdzielany tekstem, upewniając się, że rozszerzenie plik nosi nazwę „.txt”.
2) Prześlij go do katalogu głównego swojej witryny – jest to zazwyczaj folder główny o nazwie „htdocs” lub „www”, który pojawia się bezpośrednio po nazwie Twojej domeny.
3) Utwórz plik robots.txt dla każdej subdomeny – tylko jeśli używasz jakichkolwiek subdomen.
4) Przetestuj – sprawdź plik robots.txt wpisując twojadomena.com/robots.txt w pasku adresu przeglądarki.
Czytaj więcej tutaj.
[optin-monster slug=”em8z7q6hga9elmy1dbgb”]