Что такое Robots.txt?

Robots.txt — это стандартный файл, который используется веб-сайтами для связи с веб-сканерами и другими веб-роботами, чтобы информировать их о том, какие веб-страницы и области веб-сайта не следует обрабатывать, сканировать или индексировать в результатах поисковых систем.

Что делает Robot.txt?

Файл robots.txt сообщает веб-роботам, также известным как сканеры, какие страницы или файлы владелец домена не хочет, чтобы они «сканировали». Боты посещают ваш веб-сайт, а затем индексируют (сохраняют) ваши веб-страницы и файлы, прежде чем размещать их на страницах результатов поисковых систем.

Если вы не хотите, чтобы определенные страницы или файлы отображались в Google и других поисковых системах, вам необходимо заблокировать их с помощью файла robots.txt.

Вы можете проверить, есть ли на вашем веб-сайте файл robots.txt, добавив /robots.txt сразу после имени вашего домена в адресной строке вверху:

Как работает Robot.txt?

Прежде чем поисковая система просканирует ваш веб-сайт, она просматривает ваш файл robots.txt, чтобы получить инструкции о том, какие страницы им разрешено сканировать и индексировать в результатах поисковых систем.

Файлы Robots.txt полезны, если вы хотите, чтобы поисковые системы не индексировали:

1) Дублированные или неработающие страницы на вашем сайте.

2) Страницы результатов внутреннего поиска.

3) Определенные области вашего сайта или весь домен.

4) Определенные файлы на вашем веб-сайте, такие как изображения и PDF-файлы.

5) Страницы входа.

6) Создание сайтов для разработчиков.

7) Ваш XML карты сайта.

Использование файлов robots.txt позволяет исключить страницы, которые не несут никакой ценности, поэтому поисковые системы вместо этого сосредотачиваются на сканировании наиболее важных страниц. Поисковые системы имеют ограниченный «бюджет сканирования» и могут сканировать только определенное количество страниц в день, поэтому вы хотите дать им наилучшие шансы быстро найти ваши страницы, заблокировав все нерелевантные URL-адреса.

Вы также можете реализовать задержку сканирования, которая заставит роботов подождать несколько секунд перед сканированием определенных страниц, чтобы не перегружать ваш сервер. Помните, что робот Googlebot не принимает эту команду, поэтому вместо этого оптимизируйте свой бюджет сканирования для получения более надежного и перспективного решения.

Как создать файл Robots.txt?

Если у вас еще нет файла robots.txt, рекомендуется создать его как можно скорее. Для этого вам необходимо:

1) Создайте новый текстовый файл и назовите его «robots.txt». Используйте текстовый редактор, например программу «Блокнот» на ПК с Windows или TextEdit для Mac, а затем «Сохранить как» файл с разделителями текста, убедившись, что расширение файл называется «.txt».

2) Загрузите его в корневой каталог вашего веб-сайта. Обычно это папка корневого уровня, называемая «htdocs» или «www», поэтому она появляется сразу после вашего доменного имени.

3) Создайте файл robots.txt для каждого субдомена. Только если вы используете какие-либо субдомены.

4) Тест. Проверьте файл robots.txt, введя yourdomain.com/robots.txt в адресную строку браузера.

Читать далее здесь.