MEDIA24.ID-JAKARTA ; WordPress Robots.txt adalah file teks sederhana yang ditempatkan di server web untuk memberi tahu mesin pencari seperti Google, Bing, atau Yahoo tentang halaman atau bagian situs web yang harus atau tidak harus diindeks. File ini biasanya diletakkan di direktori root situs web dan dapat diakses dengan mengakses alamat “http://www.namadomainanda.com/robots.txt“.
File robots.txt biasanya digunakan oleh pemilik situs web untuk mengontrol bagaimana mesin pencari mengindeks situs web mereka. Dalam file ini, pemilik situs web dapat menentukan direktori atau halaman spesifik yang tidak boleh diindeks oleh mesin pencari dengan menambahkan aturan “Disallow” pada file robots.txt. Pemilik situs web juga dapat menunjukkan lokasi file sitemap situs web mereka di file robots.txt.
Contoh aturan sederhana dalam file robots.txt adalah sebagai berikut:
Dalam contoh ini, aturan “Disallow” akan mencegah mesin pencari untuk mengindeks halaman yang ada dalam direktori “private” dan “admin”. Sedangkan aturan “Sitemap” menunjukkan lokasi file sitemap situs web yang dapat digunakan oleh mesin pencari untuk menemukan halaman yang harus diindeks.
Namun, penting untuk diingat bahwa mesin pencari tidak diwajibkan untuk mengikuti aturan dalam file robots.txt. File ini hanya memberi saran kepada mesin pencari tentang bagaimana mengindeks situs web Anda, dan mesin pencari masih dapat memilih untuk mengindeks halaman yang dilarang atau tidak diizinkan.
Bagi Pengguna WordPress berikut contoh penulisan robots.txt
contoh kode robots.txt yang dapat digunakan untuk mengizinkan Google dan mesin pencari lainnya untuk mengindex semua konten posting di WordPress:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /category/*/*
Disallow: /tag/*/*
Disallow: /author/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */embed/
Disallow: */page/
Disallow: */comments/
Sitemap: https://www.example.com/sitemap.xml
Penjelasan:
User-agent: * : Menunjukkan bahwa aturan yang berlaku untuk semua mesin pencari.
Disallow: /wp-admin/ : Mencegah mesin pencari untuk mengakses folder wp-admin di mana area administrasi WordPress berada.
Allow: /wp-admin/admin-ajax.php : Memungkinkan akses ke file admin-ajax.php yang digunakan oleh beberapa plugin.
Disallow: /wp-includes/ : Mencegah mesin pencari untuk mengakses folder wp-includes di mana berbagai file inti WordPress berada.
Disallow: /wp-content/plugins/ : Mencegah mesin pencari untuk mengakses folder plugins di mana plugin WordPress yang diinstal berada.
Disallow: /wp-content/themes/ : Mencegah mesin pencari untuk mengakses folder themes di mana tema WordPress yang diinstal berada.
Disallow: /category/*/* : Mencegah mesin pencari untuk mengindeks halaman kategori yang berisi posting yang lebih spesifik.
Disallow: /tag/*/* : Mencegah mesin pencari untuk mengindeks halaman tag yang berisi posting yang lebih spesifik.
Disallow: /author/* : Mencegah mesin pencari untuk mengindeks halaman penulis.
Disallow: */trackback/ : Mencegah mesin pencari untuk mengindeks halaman trackback.
Disallow: */feed/ : Mencegah mesin pencari untuk mengindeks halaman feed.
Disallow: */embed/ : Mencegah mesin pencari untuk mengindeks halaman embed.
Disallow: */page/ : Mencegah mesin pencari untuk mengindeks halaman paging.
Disallow: */comments/ : Mencegah mesin pencari untuk mengindeks halaman komentar.
Sitemap: https://www.example.com/sitemap.xml : Menunjukkan lokasi sitemap untuk membantu mesin pencari menemukan semua halaman di situs Anda.
Pastikan untuk mengubah “https://www.example.com” dengan alamat domain situs WordPress Anda. Jika Anda telah membuat sitemap, masukkan URL sitemap Anda di bagian akhir file robots.txt seperti contoh di atas.
