Čo je to Robots.txt?

Robots.txt je štandardný súbor, ktorý používajú webové stránky na komunikáciu s webovými prehľadávačmi a inými webovými robotmi, aby ich informovali o tom, ktoré webové stránky a oblasti webovej lokality by nemali byť spracované, skenované alebo indexované vo výsledkoch vyhľadávacieho nástroja.

Čo robí Robot.txt?

Súbor robots.txt informuje webové roboty, známe aj ako prehľadávače, ktoré stránky alebo súbory vlastník domény nechce, aby „prehľadávali“. Roboty navštívia váš web a potom indexujú (uložia) vaše webové stránky a súbory pred ich uvedením na stránky s výsledkami vyhľadávacieho nástroja.

Ak nechcete, aby Google a iné vyhľadávacie nástroje zobrazovali určité stránky alebo súbory, musíte ich zablokovať pomocou súboru robots.txt.

Môžete skontrolovať, či vaša webová lokalita obsahuje súbor robots.txt, pridaním súboru /robots.txt hneď za názov domény do panela s adresou v hornej časti:

Ako funguje Robot.txt?

Predtým, ako vyhľadávací nástroj prehľadá vašu webovú lokalitu, pozrie sa v súbore robots.txt na pokyny, ktoré stránky môže prehľadávať a indexovať vo výsledkoch vyhľadávacieho nástroja.

Súbory Robots.txt sú užitočné, ak nechcete, aby vyhľadávacie nástroje indexovali:

1) Duplicitné alebo nefunkčné stránky na vašom webe.

2) Interné stránky s výsledkami vyhľadávania.

3) Určité oblasti vášho webu alebo celej domény.

4) Určité súbory na vašej webovej lokalite, ako sú obrázky a súbory PDF.

5) Prihlasovacie stránky.

6) Prevádzka webových stránok pre vývojárov.

7) Váš XML Sitemap.

Používanie súborov robots.txt vám umožňuje eliminovať stránky, ktoré nepridávajú žiadnu hodnotu, takže vyhľadávače sa namiesto toho zameriavajú na prehľadávanie najdôležitejších stránok. Vyhľadávacie nástroje majú obmedzený „rozpočet na prehľadávanie“ a môžu indexovo prehľadávať iba určitý počet stránok za deň, takže im chcete poskytnúť najlepšiu šancu na rýchle nájdenie vašich stránok blokovaním všetkých irelevantných adries URL.

Môžete tiež implementovať oneskorenie indexového prehľadávania, ktoré robotom povie, aby počkali niekoľko sekúnd pred indexovým prehľadávaním určitých stránok, aby nepreťažili váš server. Dajte si pozor, aby Googlebot nepotvrdil tento príkaz, takže namiesto toho optimalizujte svoj rozpočet na prehľadávanie, aby ste získali robustnejšie a odolnejšie riešenie.

Ako vytvoriť súbor Robots.txt?

Ak momentálne nemáte súbor robots.txt, je vhodné si ho čo najskôr vytvoriť. Ak to chcete urobiť, musíte:

1) Vytvorte nový textový súbor a pomenujte ho „robots.txt“ – Použite textový editor, ako je napríklad program Poznámkový blok na počítačoch Windows alebo TextEdit pre počítače Mac, a potom súbor s oddelenými textami „Uložiť ako“, pričom sa uistite, že prípona súbor má názov „.txt“.

2) Nahrajte ho do koreňového adresára vašej webovej lokality – zvyčajne ide o priečinok na koreňovej úrovni s názvom „htdocs“ alebo „www“, vďaka ktorému sa zobrazí priamo za názvom vašej domény.

3) Vytvorte súbor robots.txt pre každú subdoménu – iba ak používate nejaké subdomény.

4) Test – Skontrolujte súbor robots.txt zadaním adresy yourdomain.com/robots.txt do panela s adresou prehliadača.

Čítaj viac tu.