SEO
Apa itu Robots.txt?
Robots.txt adalah file standar yang digunakan oleh situs web untuk berkomunikasi dengan perayap web dan robot web lainnya untuk memberi tahu mereka tentang halaman web dan area situs web mana yang tidak boleh diproses atau dipindai atau diindeks pada hasil mesin pencari.
Apa yang Robot.txt Lakukan?
File robots.txt memberi tahu robot web, juga dikenal sebagai crawler, halaman atau file mana yang tidak boleh 'dirayapi' oleh pemilik domain. Bot mengunjungi situs web Anda dan kemudian mengindeks (menyimpan) halaman web dan file Anda sebelum mencantumkannya di halaman hasil mesin pencari.
Jika Anda tidak ingin halaman atau file tertentu dicantumkan oleh Google dan mesin pencari lainnya, Anda perlu memblokirnya menggunakan file robots.txt Anda.
Anda dapat memeriksa apakah situs web Anda memiliki file robots.txt dengan menambahkan /robots.txt tepat setelah nama domain Anda pada bilah alamat di bagian atas:
Bagaimana Cara Kerja Robot.txt?
Sebelum mesin telusur merayapi situs web Anda, mesin telusur akan melihat file robots.txt Anda untuk mendapatkan petunjuk tentang laman apa saja yang boleh dirayapi dan diindeks di hasil mesin telusur.
File robots.txt berguna jika Anda ingin mesin pencari tidak mengindeks:
1) Halaman duplikat atau rusak di situs web Anda.
2) Halaman hasil pencarian internal.
3) Area tertentu di situs web Anda atau seluruh domain.
4) File tertentu di situs web Anda seperti gambar dan PDF.
5) Halaman masuk.
6) Pementasan situs web untuk pengembang.
7). Anda XML sitemap.
Menggunakan file robots.txt memungkinkan Anda menghilangkan halaman yang tidak memberikan nilai tambah, sehingga mesin pencari fokus pada crawling halaman yang paling penting. Mesin telusur memiliki “anggaran perayapan” yang terbatas dan hanya dapat merayapi sejumlah laman tertentu per hari, jadi Anda ingin memberi mereka peluang terbaik untuk menemukan laman Anda dengan cepat dengan memblokir semua URL yang tidak relevan.
Anda juga dapat menerapkan penundaan perayapan, yang memberitahu robot untuk menunggu beberapa detik sebelum merayapi laman tertentu, agar tidak membebani server Anda. Berhati-hatilah karena Googlebot tidak menyetujui perintah ini, jadi optimalkan anggaran perayapan Anda untuk mendapatkan solusi yang lebih tangguh dan tahan masa depan.
Bagaimana Cara Membuat File Robots.txt?
Jika saat ini Anda tidak memiliki file robots.txt, disarankan untuk membuatnya sesegera mungkin. Untuk melakukannya, Anda perlu:
1) Buat file teks baru dan beri nama “robots.txt” – Gunakan editor teks seperti program Notepad pada PC Windows atau TextEdit untuk Mac, lalu “Simpan Sebagai” file yang dibatasi teks, pastikan ekstensinya file tersebut diberi nama “.txt”.
2) Unggah ke direktori root situs web Anda – Ini biasanya merupakan folder tingkat root bernama “htdocs” atau “www” yang membuatnya muncul tepat setelah nama domain Anda.
3) Buat file robots.txt untuk setiap subdomain – Hanya jika Anda menggunakan subdomain mana pun.
4) Tes – Periksa file robots.txt dengan memasukkan domainanda.com/robots.txt ke bilah alamat browser.
Baca lebih lanjut di sini.
[optin-monster slug=”em8z7q6hga9elmy1dbgb”]