A text file at the domain root that gives directions to web crawlers (Googlebot, Bingbot, etc.) about which pages may or may not be indexed.

Can robots.txt hide a page from Google?

Not fully. If the page is linked from elsewhere, Google may still find and index it even with a disallow. robots.txt also doesn't prevent regular users from accessing the page.

Correct robots.txt format?

The file starts with user-agent, followed by disallow/allow. Example: User-agent: * (for all crawlers), Disallow: /private/ (block private folder). A blank line separates blocks. This tool validates the format.

← Kembali ke semua tools

robots.txt Generator

🤖

robots.txt Generator

User-Agent

Aksi

Path / URL

Sitemap URL (opsional)

Crawl-Delay (detik, opsional)

Output robots.txt:

Preview Aturan:

robots.txt mengatur bot mana yang boleh mengakses halaman tertentu. Disallow = blokir, Allow = izinkan.

robots.txt adalah file teks kecil di root domain (domain.com/robots.txt) yang berisi aturan bagi crawler — bagian mana yang boleh diindeks dan bagian mana yang dilarang. File ini adalah mekanisme informal (memposisikan crawler untuk tidak masuk), bukan keamanan; tidak ada cara untuk melindungi konten sensitif hanya dengan robots.txt. Tool ini mengecek apakah file robots.txt ada, formatnya benar, dan apakah sebuah URL tertentu diizinkan di-crawl.

robots.txt itu apa?

File teks di root domain yang memberi arahan pada crawler web (Googlebot, Bingbot, dll) tentang halaman mana yang boleh atau tidak boleh diindeks.

robots.txt bisa menyembunyikan halaman dari Google?

Tidak sepenuhnya. Jika halaman di-link dari tempat lain, Google mungkin tetap menemukannya dan mengindeksnya meski ada disallow. robots.txt juga tidak mencegah pengguna biasa mengakses halaman.

Format robots.txt yang benar?

File dimulai dengan agent, diikuti disallow / allow. Contoh: User-agent: * (untuk semua crawler), Disallow: /private/ (larang folder private). Satu baris kosong memisahkan blok. Tool ini akan memvalidasi formatnya.

Get 3 new free tools every Friday

No spam. Unsubscribe anytime.