SEO
Co je Robots.txt?
Robots.txt je standardní soubor, který používají webové stránky ke komunikaci s webovými prohledávači a dalšími webovými roboty, aby je informoval o tom, které webové stránky a oblasti webu by neměly být zpracovávány, skenovány nebo indexovány ve výsledcích vyhledávače.
Co dělá Robot.txt?
Soubor robots.txt sděluje webovým robotům, známým také jako prohledávače, které stránky nebo soubory vlastník domény nechce, aby „procházeli“. Roboti navštíví váš web a poté indexují (ukládají) vaše webové stránky a soubory, než je zařadí na stránky s výsledky vyhledávače.
Pokud nechcete, aby Google a další vyhledávače uváděly určité stránky nebo soubory, musíte je zablokovat pomocí souboru robots.txt.
Zda váš web obsahuje soubor robots.txt, můžete zkontrolovat přidáním /robots.txt hned za název vaší domény do adresního řádku nahoře:
Jak Robot.txt funguje?
Než vyhledávač projde váš web, podívá se ve vašem souboru robots.txt na pokyny, jaké stránky smí procházet a indexovat ve výsledcích vyhledávače.
Soubory Robots.txt jsou užitečné, pokud nechcete, aby vyhledávače indexovaly:
1) Duplicitní nebo nefunkční stránky na vašem webu.
2) Interní stránky s výsledky vyhledávání.
3) Určité oblasti vašeho webu nebo celé domény.
4) Určité soubory na vašem webu, jako jsou obrázky a soubory PDF.
5) Přihlašovací stránky.
6) Webové stránky pro vývojáře.
7) Váš XML Sitemap.
Použití souborů robots.txt vám umožňuje eliminovat stránky, které nepřidávají žádnou hodnotu, takže se vyhledávače místo toho zaměřují na procházení nejdůležitějších stránek. Vyhledávače mají omezený „rozpočet na procházení“ a mohou procházet pouze určitý počet stránek za den, takže jim chcete dát tu nejlepší šanci na rychlé nalezení vašich stránek blokováním všech irelevantních adres URL.
Můžete také implementovat zpoždění procházení, které robotům řekne, aby několik sekund počkali, než projdou určité stránky, aby nedošlo k přetížení vašeho serveru. Dejte pozor, že Googlebot tento příkaz neuznává, takže místo toho optimalizujte svůj rozpočet na procházení, abyste získali robustnější a odolnější řešení.
Jak vytvořit soubor Robots.txt?
Pokud aktuálně nemáte soubor robots.txt, je vhodné si jej co nejdříve vytvořit. Chcete-li tak učinit, musíte:
1) Vytvořte nový textový soubor a pojmenujte jej „robots.txt“ – Použijte textový editor, jako je program Poznámkový blok na počítačích Windows nebo TextEdit pro Mac, a poté „Uložit jako“ soubor oddělený textem a ujistěte se, že přípona soubor se jmenuje „.txt“.
2) Nahrajte jej do kořenového adresáře vašeho webu – Obvykle se jedná o kořenovou složku nazvanou „htdocs“ nebo „www“, díky které se zobrazí přímo za názvem vaší domény.
3) Vytvořte soubor robots.txt pro každou subdoménu – pouze pokud používáte nějaké subdomény.
4) Test – Zkontrolujte soubor robots.txt zadáním yourdomain.com/robots.txt do adresního řádku prohlížeče.
Dozvědět se více zde.
[optin-monster slug=”em8z7q6hga9elmy1dbgb”]