SEO
Robots.txt nedir?
Robots.txt, web siteleri tarafından web tarayıcıları ve diğer web robotlarıyla iletişim kurmak ve web sitesinin hangi web sayfalarının ve web sitesinin hangi alanlarının işlenmemesi, taranmaması veya arama motoru sonuçlarında dizine eklenmemesi gerektiği konusunda onları bilgilendirmek için kullanılan standart bir dosyadır.
Robot.txt ne işe yarar?
Bir robots.txt dosyası, tarayıcılar olarak da bilinen web robotlarına, alan sahibinin hangi sayfaları veya dosyaları 'taramalarını' istemediğini bildirir. Botlar web sitenizi ziyaret eder ve ardından web sayfalarınızı ve dosyalarınızı arama motoru sonuç sayfalarında listelemeden önce dizine ekler (kaydeder).
Belirli sayfaların veya dosyaların Google ve diğer arama motorları tarafından listelenmesini istemiyorsanız robots.txt dosyanızı kullanarak bunları engellemeniz gerekir.
Üstteki adres çubuğunda alan adınızın hemen sonrasına /robots.txt dosyasını ekleyerek web sitenizin robots.txt dosyası olup olmadığını kontrol edebilirsiniz:
Robot.txt Nasıl Çalışır?
Bir arama motoru web sitenizi taramadan önce, hangi sayfaları taramasına ve arama motoru sonuçlarında dizine eklemesine izin verildiğine ilişkin talimatlar için robots.txt dosyanıza bakar.
Arama motorlarının dizine eklememesini istiyorsanız Robots.txt dosyaları kullanışlıdır:
1) Web sitenizdeki kopya veya bozuk sayfalar.
2) Dahili arama sonuçları sayfaları.
3) Web sitenizin belirli alanları veya alan adının tamamı.
4) Web sitenizdeki resimler ve PDF'ler gibi belirli dosyalar.
5) Giriş sayfaları.
6) Geliştiriciler için web sitelerinin hazırlanması.
7) Sizin XML site haritası.
Robots.txt dosyalarını kullanmak, hiçbir değer katmayan sayfaları ortadan kaldırmanıza olanak tanır; böylece arama motorları bunun yerine en önemli sayfaları taramaya odaklanır. Arama motorlarının sınırlı bir "tarama bütçesi" vardır ve günde yalnızca belirli sayıda sayfayı tarayabilirler; bu nedenle, alakasız tüm URL'leri engelleyerek sayfalarınızı hızlı bir şekilde bulmaları için onlara en iyi şansı vermek istersiniz.
Ayrıca, sunucunuza aşırı yükleme yapmamak için robotlara belirli sayfaları taramadan önce birkaç saniye beklemelerini söyleyen bir tarama gecikmesi de uygulayabilirsiniz. Googlebot'un bu komutu kabul etmediğine dikkat edin; bunun yerine, daha sağlam ve geleceğe yönelik bir çözüm için tarama bütçenizi optimize edin.
Robots.txt Dosyası Nasıl Oluşturulur?
Şu anda bir robots.txt dosyanız yoksa mümkün olan en kısa sürede bir tane oluşturmanız önerilir. Bunu yapmak için şunları yapmanız gerekir:
1) Yeni bir metin dosyası oluşturun ve bunu "robots.txt" olarak adlandırın - Windows PC'lerde Notepad programı veya Mac'ler için TextEdit gibi bir metin düzenleyici kullanın ve ardından metinle sınırlandırılmış bir dosya olan "Farklı Kaydet"i kullanın; dosyanın adı “.txt”.
2) Web sitenizin kök dizinine yükleyin – Bu genellikle “htdocs” veya “www” adı verilen ve alan adınızın hemen ardından görünmesini sağlayan kök düzeyinde bir klasördür.
3) Her alt alan adı için bir robots.txt dosyası oluşturun – Yalnızca herhangi bir alt alan adı kullanıyorsanız.
4) Test – Tarayıcının adres çubuğuna alanadiniz.com/robots.txt adresini girerek robots.txt dosyasını kontrol edin.
Daha fazla okuyun.
[optin-monster slug=”em8z7q6hga9elmy1dbgb”]