Robots.txt Adalah: Panduan Lengkap dan Cara Setting 2026

Robots.txt adalah berkas teks di akar domain yang memberi tahu crawler mesin pencari bagian mana dari situs yang boleh dan tidak boleh dirayapi. Berkas ini mengatur perayapan, bukan pengindeksan. Karena itu, memblokir halaman di robots.txt tidak menjamin halaman tersebut hilang dari hasil pencarian Google.

Banyak pemilik situs memakai robots.txt untuk menyembunyikan halaman, lalu bingung ketika halaman itu tetap muncul di Google. Kesalahpahaman ini sering merusak trafik. Bagian berikut menjelaskan fungsi sebenarnya, aturan penulisan, contoh yang benar, dan kesalahan yang paling sering terjadi.

Ringkasan cepat (poin penting)

Robots.txt adalah berkas teks yang mengatur akses crawler ke bagian situs Anda.
Lokasinya wajib di akar domain, misalnya https://contoh.com/robots.txt.
Ia mengatur perayapan, bukan pengindeksan. Untuk mencegah indeks, gunakan tag noindex.
Direktif utama: User-agent, Disallow, Allow, dan Sitemap.
Google menerapkan batas ukuran berkas robots.txt sebesar 500 kibibyte (KiB).
Satu baris Disallow yang salah bisa menghapus seluruh trafik situs. Periksa sebelum menerapkan.

Apa itu robots.txt?

Robots.txt adalah berkas teks biasa yang diletakkan di akar domain untuk memberi instruksi kepada crawler mesin pencari. Menurut dokumentasi Google Search Central, berkas ini dipakai terutama untuk mengelola lalu lintas crawler agar situs Anda tidak kelebihan beban permintaan.

Anggap robots.txt sebagai papan petunjuk di gerbang situs. Ia memberi tahu robot jalan mana yang terbuka dan mana yang tertutup. Namun papan itu hanya petunjuk bagi robot yang patuh; crawler yang tidak patuh dapat mengabaikannya sepenuhnya.

Karena itu, robots.txt bukan alat keamanan. Jangan pernah memakainya untuk menyembunyikan data sensitif, sebab isinya bersifat publik dan siapa pun dapat membukanya langsung di peramban.

Mengapa robots.txt penting untuk SEO?

Robots.txt penting karena mengendalikan ke mana anggaran perayapan situs Anda dihabiskan. Bila crawler sibuk merayapi halaman filter, hasil pencarian internal, atau halaman parameter yang tidak bernilai, halaman penting Anda bisa terlambat ditemukan dan diperbarui.

Untuk situs kecil, dampaknya biasanya kecil. Namun untuk toko daring dan situs besar dengan ribuan URL, pengaturan yang tepat menghemat sumber daya perayapan secara signifikan. Ini bagian mendasar dari technical SEO yang sehat.

Sebaliknya, kesalahan pada satu baris bisa berakibat fatal. Baris Disallow yang salah dapat memblokir seluruh situs dari Google dan menghapus trafik dalam hitungan hari. Risikonya tinggi, jadi ketelitian mutlak diperlukan.

Di mana lokasi berkas robots.txt?

Berkas robots.txt wajib berada di akar domain dan diberi nama persis "robots.txt" dengan huruf kecil semua. Alamatnya harus berbentuk https://contoh.com/robots.txt, bukan di dalam subfolder seperti /blog/robots.txt.

Aturan ini bersifat mutlak. Crawler hanya mencari berkas di akar host, sehingga berkas yang diletakkan di tempat lain akan diabaikan sepenuhnya. Anda dapat memeriksanya dengan membuka alamat tersebut langsung di peramban.

Setiap subdomain memerlukan berkas robots.txt sendiri. Berkas di contoh.com tidak berlaku untuk blog.contoh.com, karena keduanya dianggap host yang berbeda.

Direktif utama dan artinya

Robots.txt memakai beberapa direktif sederhana. Empat yang paling sering dipakai adalah User-agent, Disallow, Allow, dan Sitemap. Setiap kelompok aturan dimulai dengan User-agent yang menentukan crawler mana yang dituju.

Direktif	Fungsi
User-agent	Menentukan crawler yang dituju; tanda * berarti semua crawler.
Disallow	Melarang perayapan pada jalur tertentu.
Allow	Mengizinkan jalur tertentu meski induknya dilarang.
Sitemap	Menunjukkan lokasi berkas sitemap Anda.

Direktif Allow berguna untuk pengecualian. Misalnya, Anda melarang seluruh folder tetapi ingin satu berkas di dalamnya tetap dapat dirayapi. Google memproses aturan berdasarkan kecocokan yang paling spesifik, bukan urutan barisnya.

Wildcard dan pencocokan pola URL

Google mendukung dua karakter pola dalam robots.txt: tanda bintang dan tanda dolar. Keduanya membuat aturan jauh lebih ringkas, tetapi juga lebih mudah disalahgunakan bila Anda tidak memahami cakupannya.

Tanda bintang mewakili rangkaian karakter apa pun, sedangkan tanda dolar menandai akhir URL. Jadi "Disallow: /?" memblokir semua URL yang mengandung tanda tanya, dan "Disallow: /.pdf$" memblokir semua URL yang berakhiran .pdf.

Pola	Artinya
/folder/	Semua URL di dalam folder tersebut
/*?	Semua URL yang mengandung parameter kueri
/*.pdf$	Semua URL yang berakhir dengan .pdf

Gunakan wildcard dengan hati-hati. Satu pola yang terlalu luas dapat memblokir ribuan halaman sekaligus tanpa Anda sadari, jadi selalu uji dampaknya sebelum menerapkan di produksi.

Contoh robots.txt yang benar

Berikut struktur dasar yang berlaku untuk sebagian besar situs bisnis. Perhatikan bahwa baris Sitemap memakai URL lengkap, bukan jalur relatif.

User-agent: *
Disallow: /wp-admin/
Disallow: /?s=
Allow: /wp-admin/admin-ajax.php

Sitemap: https://contoh.com/sitemap.xml

Contoh di atas melarang semua crawler merayapi area admin dan halaman hasil pencarian internal, tetapi tetap mengizinkan satu berkas yang dibutuhkan agar situs berfungsi normal. Baris terakhir menunjukkan lokasi sitemap.

Sesuaikan isinya dengan platform Anda. Jangan menyalin robots.txt milik situs lain mentah-mentah, karena struktur folder setiap platform berbeda dan salinan yang salah bisa memblokir halaman penting.

Robots.txt di WordPress, Shopify, dan platform lain

Setiap platform menangani robots.txt dengan cara berbeda, dan itu menentukan seberapa bebas Anda menyuntingnya. Ketahui aturan platform Anda sebelum mencoba mengubah berkas secara manual.

WordPress menghasilkan robots.txt virtual secara otomatis, dan plugin SEO umumnya menyediakan editor bawaan untuk menyuntingnya. Anda juga dapat mengunggah berkas fisik di akar domain, yang akan menggantikan versi virtual tersebut.

Shopify menyediakan robots.txt default yang sudah cukup baik untuk sebagian besar toko, dan kini dapat disesuaikan melalui berkas templat tema. Sementara itu, sebagian platform pembuat situs membatasi penyuntingan sepenuhnya. Bila platform Anda tidak mengizinkan perubahan, andalkan tag noindex untuk mengendalikan pengindeksan.

Robots.txt vs noindex: apa bedanya?

Robots.txt mengatur perayapan, sedangkan tag noindex mengatur pengindeksan. Perbedaan ini adalah sumber kesalahpahaman terbesar dalam technical SEO, dan memahaminya mencegah kesalahan yang mahal.

Halaman yang diblokir robots.txt tetap bisa muncul di hasil pencarian bila ada situs lain yang menautkannya. Google tidak dapat merayapi isinya, sehingga cuplikan yang tampil biasanya kosong atau seadanya. Halaman itu tetap terindeks, hanya tanpa deskripsi.

Bila tujuan Anda benar-benar menghapus halaman dari hasil pencarian, gunakan tag meta noindex dan biarkan halaman itu tetap dapat dirayapi. Ini penting: memblokir halaman di robots.txt justru membuat Google tidak pernah melihat tag noindex Anda.

Robots.txt dan anggaran perayapan situs besar

Anggaran perayapan adalah jumlah sumber daya yang Google alokasikan untuk merayapi situs Anda. Untuk situs dengan puluhan ribu URL, anggaran itu terbatas, sehingga setiap permintaan yang terbuang pada halaman tak bernilai merugikan halaman yang penting.

Toko daring paling sering mengalami masalah ini. Filter warna, ukuran, urutan harga, dan halaman paginasi dapat menghasilkan ribuan kombinasi URL yang isinya hampir sama. Memblokir pola parameter yang tidak bernilai membebaskan anggaran untuk halaman produk dan kategori yang benar-benar menghasilkan penjualan.

Namun jangan berlebihan. Pastikan halaman produk, kategori utama, serta berkas CSS dan JavaScript tetap dapat dirayapi, karena Google memerlukannya untuk merender dan menilai halaman Anda dengan benar.

Cara mengatur crawler AI di robots.txt

Selain crawler mesin pencari, kini banyak crawler AI yang mengunjungi situs. Anda dapat mengatur aksesnya lewat robots.txt dengan menyebut nama user-agent masing-masing, sama seperti crawler biasa.

Keputusan ini bersifat strategis, bukan teknis semata. Memblokir seluruh crawler AI melindungi konten Anda dari penggunaan untuk pelatihan model, tetapi juga berpotensi mengurangi peluang merek Anda disebut dalam jawaban AI. Pertimbangkan tujuan bisnis sebelum memutuskan.

Dokumentasikan setiap keputusan beserta alasannya. Bila strategi Anda adalah membangun visibilitas di mesin AI, memblokir crawler mereka jelas kontraproduktif. Pelajari sisi peluangnya di panduan kami tentang GEO dan AI Overview.

Batas ukuran dan aturan teknis lain

Google menerapkan batas ukuran berkas robots.txt sebesar 500 kibibyte (KiB), seperti dijelaskan dalam spesifikasi robots.txt Google. Isi yang melebihi batas itu diabaikan, jadi berkas Anda sebaiknya ringkas dan seperlunya.

Berkas harus berformat teks biasa dengan pengodean UTF-8. Baris yang diawali tanda pagar dianggap komentar dan diabaikan crawler. Gunakan komentar untuk menjelaskan alasan setiap aturan, agar tim Anda tidak salah menghapusnya di kemudian hari.

Perlu diingat, aturan robots.txt bersifat spesifik per host dan per protokol. Berkas untuk versi https berbeda dari versi http, dan itu satu lagi alasan untuk menstandarkan situs Anda ke https sepenuhnya.

Hubungan robots.txt dengan sitemap

Robots.txt dan sitemap saling melengkapi dengan peran berlawanan. Robots.txt menyatakan bagian mana yang tidak perlu dirayapi, sedangkan sitemap menyatakan halaman mana yang penting untuk ditemukan.

Anda dapat menautkan sitemap dari robots.txt dengan menambahkan baris Sitemap diikuti URL lengkapnya. Cara ini membantu mesin pencari menemukan peta situs Anda tanpa pengiriman manual. Pelajari selengkapnya di panduan kami tentang sitemap.

Satu aturan penting: jangan memblokir di robots.txt halaman yang Anda cantumkan di sitemap. Sinyal yang bertentangan itu membingungkan crawler dan menandakan struktur situs yang tidak terkelola.

Bagaimana cara menguji robots.txt?

Uji berkas Anda sebelum dan sesudah menerapkannya. Cara paling sederhana adalah membuka https://domainanda.com/robots.txt di peramban untuk memastikan berkasnya ada dan isinya sesuai harapan.

Selanjutnya, gunakan Google Search Console. Laporan di sana menunjukkan halaman yang diblokir robots.txt dan membantu Anda menemukan pemblokiran yang tidak disengaja. Pelajari alatnya di panduan kami tentang Google Search Console.

Lakukan pemeriksaan rutin, terutama setelah pindah server, ganti tema, atau keluar dari masa pengembangan. Banyak situs kehilangan trafik karena berkas robots.txt versi staging ikut terbawa ke server produksi.

Kesalahan yang paling merusak

Kesalahan paling merusak adalah membiarkan baris "Disallow: /" aktif di situs produksi. Satu baris itu melarang perayapan seluruh situs dan dapat menghapus trafik organik Anda hampir sepenuhnya dalam hitungan hari.

Kesalahan ini biasanya terjadi saat situs berpindah dari staging ke produksi tanpa memeriksa berkas robots.txt. Karena itu, jadikan pemeriksaan robots.txt sebagai langkah wajib pada setiap peluncuran situs baru.

Kesalahan umum lain: memblokir folder CSS atau JavaScript sehingga Google tidak dapat merender halaman dengan benar, memakai robots.txt untuk menyembunyikan halaman yang seharusnya memakai noindex, dan menulis jalur yang salah huruf besar-kecilnya.

Checklist robots.txt untuk pemilik situs

Berikut urutan pemeriksaan praktis agar berkas Anda aman dan berguna.

Buka https://domainanda.com/robots.txt dan pastikan berkasnya dapat diakses.
Pastikan tidak ada baris "Disallow: /" yang tidak disengaja.
Pastikan folder CSS dan JavaScript tidak diblokir.
Blokir hanya area bernilai rendah: admin, hasil pencarian internal, dan URL parameter.
Tambahkan baris Sitemap dengan URL lengkap.
Putuskan dan dokumentasikan kebijakan crawler AI Anda.
Periksa ulang lewat Google Search Console setelah setiap perubahan besar.

Kerjakan dari atas ke bawah. Dua langkah pertama saja sudah mencegah kesalahan yang paling mahal.

Pertanyaan yang sering diajukan

Apa itu robots.txt secara singkat?

Robots.txt adalah berkas teks di akar domain yang memberi tahu crawler mesin pencari bagian situs mana yang boleh dan tidak boleh dirayapi. Berkas ini mengatur perayapan, bukan pengindeksan, dan wajib diletakkan tepat di akar host.

Apakah robots.txt bisa menghapus halaman dari Google?

Tidak. Halaman yang diblokir robots.txt tetap dapat muncul di hasil pencarian bila ditautkan situs lain, meski tanpa deskripsi. Untuk menghapus halaman dari indeks, gunakan tag meta noindex dan pastikan halaman tersebut tetap dapat dirayapi Google.

Apakah setiap situs wajib punya robots.txt?

Tidak wajib. Situs tanpa robots.txt akan dirayapi sepenuhnya, dan untuk situs kecil hal itu sering tidak masalah. Namun berkas ini tetap dianjurkan karena memberi kendali atas anggaran perayapan dan menjadi tempat menautkan sitemap Anda.

Di mana robots.txt harus diletakkan?

Tepat di akar domain, dengan alamat berbentuk https://contoh.com/robots.txt. Berkas di dalam subfolder akan diabaikan. Setiap subdomain memerlukan berkas robots.txt tersendiri karena crawler memperlakukannya sebagai host yang berbeda.

Berapa batas ukuran berkas robots.txt?

Google menerapkan batas 500 kibibyte (KiB) untuk berkas robots.txt. Isi yang melebihi batas tersebut diabaikan. Dalam praktiknya, berkas yang baik jauh lebih kecil dari batas itu, karena aturan yang efektif biasanya hanya beberapa baris saja.

Haruskah saya memblokir crawler AI?

Tergantung strategi Anda. Memblokir crawler AI melindungi konten dari penggunaan pelatihan model, tetapi juga mengurangi peluang merek Anda dikutip dalam jawaban AI. Bila tujuan Anda membangun visibilitas di mesin AI, memblokir crawler mereka justru merugikan.

Catatan: aturan, batas, dan alat Google dapat berubah. Rincian di sini mengacu pada dokumentasi Google per Agustus 2026 — periksa dokumentasi resmi Google terbaru sebelum menerapkan perubahan. Hasil SEO bervariasi menurut kondisi situs dan pelaksanaannya.

Ingin fondasi teknis situs Anda benar sejak awal, dari robots.txt hingga sitemap dan kecepatan? SingRank membangun technical SEO yang membuat bisnis Anda ditemukan di Google dan jawaban AI. Hubungi tim kami untuk audit dan rencana yang sesuai kebutuhan situs Anda.