SEO
Ce este Robots.txt?
Robots.txt este un fișier standard care este folosit de site-uri web pentru a comunica cu crawlerele web și alți roboți web pentru a le informa despre paginile web și zonele site-ului web care nu ar trebui să fie procesate, scanate sau indexate în rezultatele motorului de căutare.
Ce face Robot.txt?
Un fișier robots.txt le spune roboților web, cunoscuți și sub denumirea de crawler-uri, care pagini sau fișiere nu dorește ca proprietarul domeniului să „acceseze cu crawlere”. Boții îți vizitează site-ul web și apoi indexează (salvează) paginile și fișierele tale web înainte de a le lista în paginile cu rezultate ale motorului de căutare.
Dacă nu doriți ca anumite pagini sau fișiere să fie listate de Google și de alte motoare de căutare, trebuie să le blocați folosind fișierul robots.txt.
Puteți verifica dacă site-ul dvs. are un fișier robots.txt adăugând /robots.txt imediat după numele domeniului dvs. în bara de adrese din partea de sus:
Cum funcționează Robot.txt?
Înainte ca un motor de căutare să acceseze cu crawlere site-ul dvs., acesta se uită la fișierul dvs. robots.txt pentru instrucțiuni despre paginile pe care le este permis să acceseze cu crawlere și să indexeze în rezultatele motorului de căutare.
Fișierele Robots.txt sunt utile dacă doriți ca motoarele de căutare să nu indexeze:
1) Pagini duplicate sau sparte de pe site-ul dvs. web.
2) Pagini interne cu rezultatele căutării.
3) Anumite zone ale site-ului dvs. web sau un întreg domeniu.
4) Anumite fișiere de pe site-ul dvs. web, cum ar fi imagini și PDF-uri.
5) Pagini de conectare.
6) Staging site-uri web pentru dezvoltatori.
7) Dumneavoastră Sitemap XML.
Folosirea fișierelor robots.txt vă permite să eliminați paginile care nu adaugă valoare, astfel încât motoarele de căutare se concentrează pe accesarea cu crawlere a celor mai importante pagini. Motoarele de căutare au un „buget de accesare cu crawlere” limitat și pot accesa cu crawlere doar un anumit număr de pagini pe zi, așa că doriți să le oferiți cele mai bune șanse de a vă găsi rapid paginile prin blocarea tuturor adreselor URL irelevante.
De asemenea, puteți implementa o întârziere a accesării cu crawlere, care le spune roboților să aștepte câteva secunde înainte de a accesa cu crawlere anumite pagini, pentru a nu supraîncărca serverul. Atenție că Googlebot nu acceptă această comandă, așa că, în schimb, optimizați bugetul de accesare cu crawlere pentru o soluție mai robustă și mai sigură pentru viitor.
Cum se creează un fișier Robots.txt?
Dacă în prezent nu aveți un fișier robots.txt, este recomandabil să creați unul cât mai curând posibil. Pentru a face acest lucru, trebuie să:
1) Creați un fișier text nou și numiți-l „robots.txt” – Folosiți un editor de text, cum ar fi programul Notepad pe computere Windows sau TextEdit pentru Mac și apoi „Salvați ca” un fișier delimitat de text, asigurându-vă că extensia de fișierul se numește „.txt”.
2) Încărcați-l în directorul rădăcină al site-ului dvs. – Acesta este de obicei un folder la nivel rădăcină numit „htdocs” sau „www”, care îl face să apară direct după numele domeniului dumneavoastră.
3) Creați un fișier robots.txt pentru fiecare subdomeniu – Numai dacă utilizați orice subdomeniu.
4) Testare – Verificați fișierul robots.txt introducând domeniul dumneavoastră.com/robots.txt în bara de adrese a browserului.
Află mai multe aici.
[optin-monster slug=”em8z7q6hga9elmy1dbgb”]