File robots.txt adalah salah satu poin penting dalam technical SEO yaitu sebuah file yang berisi instruksi untuk mesin pencari atau robot. File ini berguna untuk memberitahu robot mana saja halaman atau direktori yang boleh atau tidak boleh diakses, diindeks, atau ditampilkan di hasil pencarian. Dengan menggunakan file robots.txt, Anda dapat meningkatkan performa situs Anda dan mengoptimalkan SEO.
Apa itu File robots.txt?

Robot adalah istilah yang digunakan untuk menyebut bot atau crawler yang mengunjungi situs web di internet. Contoh paling umum adalah robot dari Google, Bing, Yahoo, dan mesin pencari lainnya. Robot ini bertugas untuk menjelajahi situs web Anda dan mengumpulkan informasi tentang konten, struktur, dan kata kunci yang ada di dalamnya. Informasi ini kemudian digunakan untuk menentukan peringkat situs web Anda di hasil pencarian.
Namun, tidak semua halaman atau direktori di situs web Anda perlu diakses atau diindeks oleh robot. Misalnya, Anda mungkin tidak ingin robot mengakses halaman admin, login, plugin, atau file yang bersifat pribadi atau sensitif. Anda juga mungkin tidak ingin robot mengindeks halaman duplikat, arsip, atau halaman yang tidak relevan dengan topik situs web Anda. Hal ini dapat mengurangi kualitas situs web Anda dan mempengaruhi SEO.
Untuk mengatasi masalah ini, Anda dapat menggunakan file robots.txt untuk memberikan petunjuk kepada robot tentang halaman atau direktori mana saja yang boleh atau tidak boleh mereka akses atau indeks. File robots.txt adalah sebuah file teks sederhana yang berisi aturan-aturan yang disebut directives. Directives terdiri dari dua bagian: user-agent dan disallow.
User-agent adalah nama robot yang ingin Anda berikan instruksi. Anda dapat menentukan robot tertentu atau semua robot dengan menggunakan tanda bintang (*). Disallow adalah halaman atau direktori yang ingin Anda larang robot untuk mengakses atau mengindeks. Anda dapat menulis path lengkap atau sebagian dari halaman atau direktori tersebut. Jika Anda tidak ingin melarang apa pun, Anda dapat menggunakan tanda garis miring (/).
Contoh file robots.txt di WordPress adalah sebagai berikut:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /login/
File ini berarti bahwa semua robot tidak boleh mengakses atau mengindeks direktori wp-admin, wp-includes, wp-content/plugins, wp-content/themes, dan login.
Cara Membuat File robots.txt di WordPress

WordPress secara otomatis membuat file robots.txt virtual untuk situs web Anda. Ini berarti bahwa file ini tidak benar-benar ada di server Anda, tetapi dibuat secara dinamis oleh WordPress setiap kali robot mengunjungi situs web Anda. Anda dapat melihat file ini dengan menambahkan /robots.txt di akhir nama domain Anda.
File robots.txt virtual WordPress biasanya berisi aturan-aturan dasar untuk robot, seperti:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
File ini berarti bahwa semua robot tidak boleh mengakses direktori wp-admin, kecuali file admin-ajax.php yang digunakan untuk beberapa fungsi WordPress.
Jika Anda ingin mengedit atau menambahkan aturan-aturan lain ke file robots.txt virtual WordPress, Anda dapat menggunakan salah satu dari tiga metode berikut:
1. Menggunakan Plugin Yoast SEO
Yoast SEO adalah salah satu plugin SEO terpopuler untuk WordPress. Plugin ini memiliki fitur untuk membuat dan mengedit file robots.txt virtual WordPress dengan mudah. Berikut ini adalah langkah-langkahnya:
- Instal dan aktifkan plugin Yoast SEO di situs web WordPress Anda.
- Buka menu SEO > Tools di dashboard WordPress Anda.
- Pilih tab File Editor.
- Di bawah bagian Robots.txt, Anda akan melihat file robots.txt virtual WordPress yang saat ini aktif.
- Edit atau tambahkan aturan-aturan yang Anda inginkan ke file tersebut.
- Klik Save changes to robots.txt untuk menyimpan perubahan Anda.
2. Menggunakan Plugin All in One SEO Pack
All in One SEO Pack adalah plugin SEO lain yang populer untuk WordPress. Plugin ini juga memiliki fitur untuk membuat dan mengedit file robots.txt virtual WordPress dengan mudah. Berikut ini adalah langkah-langkahnya:
- Instal dan aktifkan plugin All in One SEO Pack di situs web WordPress Anda.
- Buka menu All in One SEO > Feature Manager di dashboard WordPress Anda.
- Aktifkan fitur Robots.txt dengan mengklik Activate.
- Buka menu All in One SEO > Robots.txt di dashboard WordPress Anda.
- Di bawah bagian Edit Robots.txt, Anda akan melihat file robots.txt virtual WordPress yang saat ini aktif.
- Edit atau tambahkan aturan-aturan yang Anda inginkan ke file tersebut.
- Klik Update Robots.txt untuk menyimpan perubahan Anda.
3. Mengunggah File robots.txt Melalui FTP
Jika Anda tidak ingin menggunakan plugin, Anda dapat membuat file robots.txt sendiri dan mengunggahnya ke server Anda melalui FTP. Berikut ini adalah langkah-langkahnya:
- Buka aplikasi teks editor seperti Notepad atau Sublime Text di komputer Anda.
- Buat file baru dan beri nama robots.txt.
- Tulis aturan-aturan yang Anda inginkan ke file tersebut.
- Simpan file tersebut di komputer Anda.
- Buka aplikasi FTP seperti FileZilla atau Cyberduck di komputer Anda.
- Sambungkan ke server hosting Anda dengan memasukkan nama host, username, password, dan port yang diberikan oleh penyedia hosting Anda.
- Cari folder public_html atau root di server Anda.
- Unggah file robots.txt yang telah Anda buat ke folder tersebut.
Nah itulah untuk proses pembuatan file robots.txt di WordPress ada 3 cara yang dapat anda pilih salah satunya, dan untuk yang paling mudah Anda bisa menggunakan Plugin Yoast SEO.
Cara Membuat File robots.txt di Blogger

Blogger adalah platform blogging yang dimiliki oleh Google. Blogger juga secara otomatis membuat file robots.txt virtual untuk situs web Anda. Namun, berbeda dengan WordPress, Blogger tidak memberikan akses penuh untuk mengedit file ini. Anda hanya dapat menambahkan aturan-aturan tambahan ke file ini melalui pengaturan Blogger. Berikut ini adalah langkah-langkahnya:
- Login ke akun Blogger Anda dan pilih blog yang ingin Anda edit.
- Buka menu Settings > Search preferences di dashboard Blogger Anda.
- Di bawah bagian Crawlers and indexing, klik Edit di samping Custom robots.txt.
- Centang kotak Enable custom robots.txt content?.
- Di bawah kotak teks, Anda akan melihat file robots.txt virtual Blogger yang saat ini aktif, seperti:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://example.blogspot.com/feeds/posts/default?orderby=UPDATED
File ini berarti bahwa robot Mediapartners-Google (yang digunakan untuk Google Adsense) boleh mengakses semua halaman di situs web Anda, sedangkan robot lain tidak boleh mengakses halaman pencarian (/search) tetapi boleh mengakses halaman lainnya (/). File ini juga memberikan sitemap (peta situs) untuk robot.
- Tambahkan aturan-aturan tambahan yang Anda inginkan ke kotak teks, di bawah file robots.txt virtual Blogger yang sudah ada.
- Klik Save changes untuk menyimpan perubahan Anda.
Demikianlah artikel tentang cara membuat file robots.txt di WordPress dan Blogger. Semoga artikel ini bermanfaat untuk Anda yang ingin mengatur akses dan indeksasi robot ke situs web Anda. File robots.txt adalah salah satu faktor penting untuk SEO, jadi pastikan Anda membuatnya dengan benar dan sesuai dengan kebutuhan Anda. Jika Anda memiliki pertanyaan atau saran, silakan tinggalkan komentar di bawah ini. Terima kasih telah membaca. 😊
Mantap, sangat membantu
Terimakasih