Penguji robots.txt
Tempel robots.txt Anda dan uji URL mana pun terhadap crawler mana pun untuk melihat apa yang diizinkan.
Fitur Penguji Robots.txt
Verifikasi aturan crawl Anda sebelum diterapkan.
Menunjukkan aturan mana yang cocok dan apakah itu Diizinkan atau Dilarang.
Test against specific crawlers like Googlebot or the wildcard *.
Menampilkan semua aturan yang berlaku untuk user-agent yang dipilih secara sekilas.
Tentang Penguji Robots.txt
Alat ini memungkinkan Anda untuk menempelkan file robots.txt dan menguji bagaimana perilakunya untuk crawler dan jalur URL tertentu. Ini mem-parsing aturan, menemukan kecocokan yang paling spesifik, dan memberi tahu Anda apakah akses diizinkan atau dilarang.
Pertanyaan yang Sering Diajukan
Apakah alat ini gratis digunakan?
Ya, alat ini sepenuhnya gratis.
Tidak ada akun atau pendaftaran yang diperlukan.
Anda dapat menggunakannya sebanyak yang Anda mau.
Apakah data saya bersifat pribadi?
Semua pemrosesan terjadi di browser Anda.
Konten robots.txt Anda tidak pernah dikirim ke server mana pun.
Kami tidak menyimpan, mencatat, atau membagikan input Anda.
Apakah mendukung wildcard?
Ya. Wildcard * dalam jalur didukung.
Pita akhir jalur $ juga dikenali.
Pola kompleks dicocokkan menggunakan konversi ekspresi reguler.
Apa yang terjadi jika tidak ada aturan yang cocok?
Jika tidak ada aturan yang cocok, URL dianggap diizinkan secara default.
Ini adalah perilaku standar robots.txt.
Penguji akan menyatakan dengan jelas ketika tidak ada aturan yang cocok ditemukan.
Apakah mendukung direktif Sitemap?
Direktif Sitemap diparsing dari konten robots.txt.
Ini tidak mempengaruhi aturan diizinkan/dilarang dan hanya bersifat informasional.
URL Sitemap ditampilkan dalam daftar aturan mentah.
Apakah ini bekerja di mobile?
Ya, alat ini sepenuhnya responsif.
Ini bekerja di ponsel, tablet, dan desktop.
Tidak perlu mengunduh aplikasi.
Browser apa yang didukung?
Semua browser modern didukung.
Ini termasuk Chrome, Firefox, Safari, dan Edge.
Jaga agar browser Anda diperbarui untuk hasil terbaik.
Bisakah saya menguji beberapa URL sekaligus?
Saat ini alat ini menguji satu URL pada satu waktu.
Ubah jalur URL di input dan klik Uji lagi untuk setiap URL.
Konten robots.txt tetap dimuat saat Anda menguji.