ما هو ملف robots.txt؟

Robots.txt هو ملف قياسي تستخدمه مواقع الويب للتواصل مع برامج زحف الويب وبرامج الروبوت الأخرى على الويب لإعلامهم بصفحات الويب ومناطق موقع الويب التي لا ينبغي معالجتها أو فحصها أو فهرستها في نتائج محرك البحث.

ماذا يفعل Robot.txt؟

يخبر ملف robots.txt روبوتات الويب، المعروفة أيضًا باسم برامج الزحف، بالصفحات أو الملفات التي لا يريد مالك النطاق أن "تزحف إليها". تقوم الروبوتات بزيارة موقع الويب الخاص بك ثم فهرسة (حفظ) صفحات الويب والملفات الخاصة بك قبل إدراجها في صفحات نتائج محرك البحث.

إذا كنت لا تريد أن يتم إدراج صفحات أو ملفات معينة بواسطة Google ومحركات البحث الأخرى، فستحتاج إلى حظرها باستخدام ملف robots.txt الخاص بك.

يمكنك التحقق مما إذا كان موقع الويب الخاص بك يحتوي على ملف robots.txt عن طريق إضافة /robots.txt مباشرة بعد اسم النطاق الخاص بك في شريط العناوين بالأعلى:

كيف يعمل Robot.txt؟

قبل أن يزحف محرك البحث إلى موقعك على الويب، فإنه ينظر إلى ملف robots.txt الخاص بك للحصول على إرشادات حول الصفحات المسموح له بالزحف إليها وفهرستها في نتائج محرك البحث.

تعتبر ملفات Robots.txt مفيدة إذا كنت تريد عدم فهرسة محركات البحث:

1) الصفحات المكررة أو المعطلة على موقع الويب الخاص بك.

2) صفحات نتائج البحث الداخلية.

3) مناطق معينة من موقع الويب الخاص بك أو المجال بأكمله.

4) ملفات معينة على موقع الويب الخاص بك مثل الصور وملفات PDF.

5) صفحات تسجيل الدخول.

6) تنظيم مواقع الويب للمطورين.

7) الخاص بك XML خريطة الموقع.

يسمح لك استخدام ملفات robots.txt بإزالة الصفحات التي لا تضيف أي قيمة، لذلك تركز محركات البحث على الزحف إلى الصفحات الأكثر أهمية بدلاً من ذلك. تتمتع محركات البحث بـ "ميزانية زحف" محدودة ولا يمكنها سوى الزحف إلى عدد معين من الصفحات يوميًا، لذلك تريد منحها أفضل فرصة للعثور على صفحاتك بسرعة عن طريق حظر جميع عناوين URL غير ذات الصلة.

يمكنك أيضًا تنفيذ تأخير الزحف، والذي يخبر الروبوتات بالانتظار بضع ثوانٍ قبل الزحف إلى صفحات معينة، حتى لا تؤدي إلى زيادة التحميل على خادمك. احذر من أن Googlebot لا يتعرف على هذا الأمر، لذا بدلاً من ذلك قم بتحسين ميزانية الزحف الخاصة بك بدلاً من ذلك للحصول على حل أكثر قوة ومقاوم للمستقبل.

كيفية إنشاء ملف Robots.txt؟

إذا لم يكن لديك حاليًا ملف robots.txt، فمن المستحسن إنشاء ملف في أقرب وقت ممكن. للقيام بذلك، تحتاج إلى:

1) قم بإنشاء ملف نصي جديد وقم بتسميته "robots.txt" - استخدم محرر نص مثل برنامج Notepad على أجهزة الكمبيوتر التي تعمل بنظام Windows أو TextEdit لأجهزة Mac ثم "حفظ باسم" ملف محدد بنص، مع التأكد من أن امتداد الملف يسمى ".txt".

2) قم بتحميله إلى الدليل الجذر لموقع الويب الخاص بك - عادةً ما يكون هذا مجلدًا على مستوى الجذر يسمى "htdocs" أو "www" مما يجعله يظهر مباشرة بعد اسم المجال الخاص بك.

3) قم بإنشاء ملف robots.txt لكل نطاق فرعي - فقط إذا كنت تستخدم أي نطاقات فرعية.

4) الاختبار - تحقق من ملف robots.txt عن طريق إدخال yourdomain.com/robots.txt في شريط عنوان المتصفح.

المزيد هنا.