SEO
Kaj je Robots.txt?
Robots.txt je standardna datoteka, ki jo uporabljajo spletna mesta za komunikacijo s spletnimi pajki in drugimi spletnimi roboti, da jih obvesti o tem, katerih spletnih strani in delov spletnega mesta ne smejo obdelati ali skenirati ali indeksirati v rezultatih iskalnika.
Kaj počne Robot.txt?
Datoteka robots.txt sporoča spletnim robotom, znanim tudi kot pajki, katere strani ali datoteke lastnik domene ne želi, da bi "preiskali". Boti obiščejo vaše spletno mesto in nato indeksirajo (shranijo) vaše spletne strani in datoteke, preden jih uvrstijo na strani z rezultati iskalnika.
Če ne želite, da Google in drugi iskalniki prikažejo določene strani ali datoteke, jih morate blokirati z datoteko robots.txt.
Če ima vaše spletno mesto datoteko robots.txt, lahko preverite tako, da dodate /robots.txt takoj za imenom vaše domene v naslovni vrstici na vrhu:
Kako deluje Robot.txt?
Preden iskalnik preišče vaše spletno mesto, pogleda vašo datoteko robots.txt za navodila o tem, katere strani lahko preišče in indeksira v rezultatih iskalnika.
Datoteke robots.txt so uporabne, če ne želite, da iskalniki indeksirajo:
1) Podvojene ali pokvarjene strani na vašem spletnem mestu.
2) Interne strani z rezultati iskanja.
3) Določena področja vašega spletnega mesta ali celotne domene.
4) Določene datoteke na vašem spletnem mestu, kot so slike in PDF-ji.
5) Strani za prijavo.
6) Uprizoritvena spletna mesta za razvijalce.
7) Vaš kazalo XML.
Z uporabo datotek robots.txt lahko odstranite strani, ki ne dodajajo nobene vrednosti, zato se iskalniki namesto tega osredotočajo na iskanje najpomembnejših strani. Iskalniki imajo omejen »proračun za pajkanje« in lahko preiščejo le določeno število strani na dan, zato jim želite dati najboljše možnosti, da hitro najdejo vaše strani, tako da blokirate vse nepomembne URL-je.
Prav tako lahko implementirate zakasnitev pajkanja, ki robotom pove, naj počakajo nekaj sekund, preden pajkajo določene strani, da ne preobremenijo vašega strežnika. Pazite, da Googlebot ne prizna tega ukaza, zato raje optimizirajte svoj proračun za iskanje po vsebini za bolj robustno rešitev, ki je pripravljena na prihodnost.
Kako ustvariti datoteko robots.txt?
Če trenutno nimate datoteke robots.txt, je priporočljivo, da jo ustvarite čim prej. Če želite to narediti, morate:
1) Ustvarite novo besedilno datoteko in jo poimenujte »robots.txt« – uporabite urejevalnik besedila, kot je program Beležnica v osebnih računalnikih z operacijskim sistemom Windows ali TextEdit za računalnike Mac, nato pa »Shrani kot« z besedilom ločeno datoteko, s čimer zagotovite, da je končnica datoteka se imenuje ».txt«.
2) Naložite ga v korenski imenik vašega spletnega mesta – to je običajno mapa na korenski ravni, imenovana »htdocs« ali »www«, zaradi česar se prikaže neposredno za imenom vaše domene.
3) Ustvarite datoteko robots.txt za vsako poddomeno – samo če uporabljate katero od poddomen.
4) Test – Preverite datoteko robots.txt tako, da v naslovno vrstico brskalnika vnesete yourdomain.com/robots.txt.
Preberi več tukaj.
[optin-monster slug=”em8z7q6hga9elmy1dbgb”]