Шта је Роботс.ткт?

Роботс.ткт је стандардна датотека коју веб-сајтови користе за комуникацију са веб претраживачима и другим веб роботима како би их обавестили о томе које веб странице и области веб-сајта не би требало да се обрађују, скенирају или индексирају у резултатима претраживача.

Шта ради Робот.ткт?

Датотека роботс.ткт говори веб роботима, такође познатим као пописивачи, које странице или датотеке власник домена не жели да „пужу“. Ботови посећују вашу веб локацију, а затим индексирају (сачувају) ваше веб странице и датотеке пре него што их наведу на страницама резултата претраживача.

Ако не желите да Гоогле и други претраживачи наводе одређене странице или датотеке, морате да их блокирате помоћу датотеке роботс.ткт.

Можете да проверите да ли ваша веб локација има датотеку роботс.ткт додавањем /роботс.ткт одмах иза имена вашег домена у траку за адресу на врху:

Како ради Робот.ткт?

Пре него што претраживач попише вашу веб локацију, у вашој роботс.ткт фајлу тражи упутства о томе које странице смеју да пописују и индексирају у резултатима претраживача.

Датотеке Роботс.ткт су корисне ако желите да претраживачи не индексирају:

1) Дуплициране или покварене странице на вашој веб локацији.

2) Странице резултата интерне претраге.

3) Одређене области ваше веб странице или цео домен.

4) Одређене датотеке на вашој веб локацији као што су слике и ПДФ-ови.

5) Странице за пријаву.

6) Израда веб локација за програмере.

7) Ваша КСМЛ ситемап.

Коришћење роботс.ткт датотека вам омогућава да елиминишете странице које не додају вредност, тако да се претраживачи фокусирају на индексирање најважнијих страница. Претраживачи имају ограничен „буџет пописивања“ и могу да пописују само одређени број страница дневно, тако да желите да им дате најбољу шансу да брзо пронађу ваше странице блокирањем свих нерелевантних УРЛ-ова.

Такође можете применити одлагање индексирања, које говори роботима да сачекају неколико секунди пре него што попуне одређене странице, како не би преоптеретили ваш сервер. Пазите да Гооглебот не признаје ову команду, па уместо тога оптимизујте свој буџет за индексирање за робусније решење које је отпорно на будућност.

Како направити датотеку Роботс.ткт?

Ако тренутно немате датотеку роботс.ткт, препоручљиво је да је направите што је пре могуће. Да бисте то урадили, потребно је:

1) Креирајте нову текстуалну датотеку и назовите је „роботс.ткт“ – Користите уређивач текста као што је програм Нотепад на Виндовс рачунарима или ТектЕдит за Мац, а затим „Сачувај као“ датотеку раздвојену текстом, осигуравајући да екстензија датотека је названа „.ткт“.

2) Отпремите га у основни директоријум ваше веб локације – Ово је обично директоријум на основном нивоу који се зове „хтдоцс“ или „ввв“ због чега се појављује директно иза имена вашег домена.

3) Креирајте датотеку роботс.ткт за сваки поддомен – само ако користите било који поддомен.

4) Тест – Проверите датотеку роботс.ткт уношењем иоурдомаин.цом/роботс.ткт у адресну траку претраживача.

opširnije ovde.