SEO
რა არის Robots.txt?
Robots.txt არის სტანდარტული ფაილი, რომელსაც იყენებენ ვებსაიტები ვებ მცოცავებთან და სხვა ვებ რობოტებთან კომუნიკაციისთვის, რათა აცნობონ მათ იმის შესახებ, თუ რომელი ვებგვერდები და ვებსაიტები არ უნდა იყოს დამუშავებული, დასკანირებული ან ინდექსირებული საძიებო სისტემის შედეგებში.
რას აკეთებს Robot.txt?
robots.txt ფაილი ეუბნება ვებ რობოტებს, რომლებიც ასევე ცნობილია როგორც მცოცავი, რომელ გვერდებს ან ფაილებს დომენის მფლობელს არ სურს, რომ მათ „დასინჯონ“. ბოტები სტუმრობენ თქვენს ვებსაიტს და შემდეგ განათავსებენ (შეინახავენ) თქვენს ვებ გვერდებს და ფაილებს საძიებო სისტემის შედეგების გვერდებზე ჩამოთვლამდე.
თუ არ გსურთ, რომ გარკვეული გვერდები ან ფაილები იყოს Google-ისა და სხვა საძიებო სისტემების სიაში, თქვენ უნდა დაბლოკოთ ისინი თქვენი robots.txt ფაილის გამოყენებით.
შეგიძლიათ შეამოწმოთ, აქვს თუ არა თქვენს ვებსაიტს robots.txt ფაილი, დაამატეთ /robots.txt დაუყოვნებლივ თქვენი დომენის სახელის შემდეგ ზედა მისამართის ზოლში:
როგორ მუშაობს Robot.txt?
სანამ საძიებო სისტემა დაცოცავს თქვენს ვებსაიტს, ის ათვალიერებს თქვენს robots.txt ფაილს ინსტრუქციების სანახავად, თუ რა გვერდებზე აქვთ უფლება დაათვალიერონ და განათავსონ საძიებო სისტემის შედეგებში.
Robots.txt ფაილები სასარგებლოა, თუ გსურთ საძიებო სისტემებმა არ მოახდინოს ინდექსირება:
1) დუბლიკატი ან გატეხილი გვერდები თქვენს ვებსაიტზე.
2) შიდა ძიების შედეგების გვერდები.
3) თქვენი ვებსაიტის ან მთელი დომენის გარკვეული სფეროები.
4) გარკვეული ფაილები თქვენს ვებსაიტზე, როგორიცაა სურათები და PDF.
5) შესვლის გვერდები.
6) დეველოპერებისთვის ვებსაიტების დადგმა.
7) შენი XML sitemap.
robots.txt ფაილების გამოყენება საშუალებას გაძლევთ წაშალოთ გვერდები, რომლებიც არ მატებენ მნიშვნელობას, ამიტომ საძიებო სისტემები ფოკუსირებულია ყველაზე მნიშვნელოვანი გვერდების ცოცვაზე. საძიებო სისტემებს აქვთ შეზღუდული „crawl ბიუჯეტი“ და შეუძლიათ მხოლოდ გვერდების გარკვეული რაოდენობის დაცინვა დღეში, ასე რომ თქვენ გსურთ მისცეთ მათ საუკეთესო შანსი, სწრაფად იპოვონ თქვენი გვერდები ყველა შეუსაბამო URL-ის დაბლოკვით.
თქვენ ასევე შეგიძლიათ განახორციელოთ crawl delay, რომელიც ეუბნება რობოტებს, დაელოდონ რამდენიმე წამს გარკვეული გვერდების დაცოცამდე, რათა არ გადატვირთონ თქვენი სერვერი. ფრთხილად იყავით, რომ Googlebot არ აღიარებს ამ ბრძანებას, ასე რომ, ამის ნაცვლად, ოპტიმიზაცია მოახდინეთ თქვენი crawl ბიუჯეტის ნაცვლად უფრო ძლიერი და მომავლისთვის საიმედო გადაწყვეტისთვის.
როგორ შევქმნათ Robots.txt ფაილი?
თუ ამჟამად არ გაქვთ robots.txt ფაილი, მიზანშეწონილია შექმნათ ის რაც შეიძლება მალე. ამისათვის თქვენ უნდა:
1) შექმენით ახალი ტექსტური ფაილი და დაარქვით "robots.txt" - გამოიყენეთ ტექსტური რედაქტორი, როგორიცაა Notepad პროგრამა Windows კომპიუტერებზე ან TextEdit Mac-ებისთვის და შემდეგ "Save As" ტექსტით გამოყოფილი ფაილი, რათა უზრუნველყოთ გაფართოება ფაილს ჰქვია ".txt".
2) ატვირთეთ იგი თქვენი ვებსაიტის ძირეულ დირექტორიაში – ეს ჩვეულებრივ არის ძირეული დონის საქაღალდე სახელწოდებით “htdocs” ან “www”, რომელიც აჩენს მას პირდაპირ თქვენი დომენის სახელის შემდეგ.
3) შექმენით robots.txt ფაილი თითოეული ქვე-დომენისთვის – მხოლოდ იმ შემთხვევაში, თუ იყენებთ რაიმე ქვე-დომენს.
4) ტესტი – შეამოწმეთ robots.txt ფაილი ბრაუზერის მისამართის ზოლში yourdomain.com/robots.txt შეყვანით.
წაიკითხე მეტი აქ დაწკაპუნებით.
[optin-monster slug=”em8z7q6hga9elmy1dbgb”]