SEO
Що таке Robots.txt?
Robots.txt — це стандартний файл, який використовується веб-сайтами для зв’язку з веб-сканерами та іншими веб-роботами, щоб інформувати їх про те, які веб-сторінки та ділянки веб-сайту не слід обробляти, сканувати чи індексувати в результатах пошуку.
Що робить Robot.txt?
Файл robots.txt повідомляє веб-роботам, також відомим як сканери, які сторінки чи файли власник домену не хоче, щоб вони сканували. Боти відвідують ваш веб-сайт, а потім індексують (зберігають) ваші веб-сторінки та файли, перш ніж розмістити їх на сторінках результатів пошуку.
Якщо ви не хочете, щоб певні сторінки чи файли відображалися в списку Google та інших пошукових систем, вам потрібно заблокувати їх за допомогою файлу robots.txt.
Ви можете перевірити, чи є на вашому веб-сайті файл robots.txt, додавши /robots.txt відразу після свого доменного імені в адресному рядку вгорі:
Як працює Robot.txt?
Перш ніж пошукова система просканує ваш веб-сайт, вона переглядає ваш файл robots.txt, щоб отримати інструкції щодо того, які сторінки їм дозволено сканувати та індексувати в результатах пошукової системи.
Файли robots.txt корисні, якщо ви не хочете, щоб пошукові системи індексували:
1) Дублікати або пошкоджені сторінки на вашому веб-сайті.
2) Сторінки внутрішніх результатів пошуку.
3) Певні частини вашого веб-сайту або весь домен.
4) Певні файли на вашому веб-сайті, наприклад зображення та PDF-файли.
5) Сторінки входу.
6) Проведення веб-сайтів для розробників.
7) Ваше Мапа сайту XML.
Використання файлів robots.txt дозволяє видаляти сторінки, які не додають цінності, тому пошукові системи зосереджуються на скануванні найважливіших сторінок. Пошукові системи мають обмежений «бюджет сканування» і можуть сканувати лише певну кількість сторінок на день, тому ви хочете дати їм найкращий шанс швидко знайти ваші сторінки, заблокувавши всі нерелевантні URL-адреси.
Ви також можете застосувати затримку сканування, яка повідомляє роботам зачекати кілька секунд перед скануванням певних сторінок, щоб не перевантажувати ваш сервер. Майте на увазі, що робот Googlebot не розпізнає цю команду, тому натомість оптимізуйте свій бюджет сканування, щоб отримати надійніше та перспективне рішення.
Як створити файл robots.txt?
Якщо у вас зараз немає файлу robots.txt, радимо створити його якомога швидше. Для цього вам потрібно:
1) Створіть новий текстовий файл і назвіть його «robots.txt». Скористайтеся текстовим редактором, таким як програма «Блокнот» на ПК з Windows або TextEdit для Mac, а потім «Зберегти як» файл із роздільниками, переконавшись, що розширення файл має назву «.txt».
2) Завантажте його в кореневий каталог свого веб-сайту. Зазвичай це папка кореневого рівня під назвою «htdocs» або «www», через що вона з’являється безпосередньо після імені вашого домену.
3) Створіть файл robots.txt для кожного субдомену – лише якщо ви використовуєте будь-які субдомени.
4) Тест – перевірте файл robots.txt, ввівши yourdomain.com/robots.txt в адресний рядок браузера.
Читати далі тут.
[optin-monster slug=”em8z7q6hga9elmy1dbgb”]