Sebenarnya cara yang bisa di gunakan untuk mengatasi beberapa url yang di cekal oleh robot txt yang bisa anda ketahui di webmaster tool sangatlah mudah kita hanya mengatasinya dengan mengaktifkan robot.txt pada tampilan blogger Terkadang Google dan beberapa mesin pencari lainya tidak bisa merayapi seluruh artikel yang telah kita buat. Hal ini sangat memperlambat munculnya artikel di mesin pencari. Tidak lain dan tidak bukan di sebabkan oleh kerusakan di Robot.txt.
Kita bisa mengetahui URL yang dicekal melalui Webmaster tools. Google akan mengirim pesan apa bila terdapat kerusakan yang cukup serius di blogg kita. Jika anda mendapat pesan peringatan segera perbaiki situs/blog anda.
Saya akan memberikan solusi bagaimana cara memperbaiki URL yang di cekal oleh Robot.txt.
1. Login ke Blogger.com
2. Pergi ke Setelan > Preferensi dan penelusuran
3. Pada kolom Perayap dan pengindeksan,
4. Klik Edit di bagian kanan robots.txt khusus.
5. Masukan kode dibawah ini
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://nama blog anda.blogspot.com/feeds/posts/default?orderby=updated
catatan: "ganti warna MERAH dengan URL blogg anda"
6. Centang Ya untuk mengaktifkan.
7. Simpan perubahan.
Tunggu kurang lebih 3 sampai 5 hari untuk memulihkan situs anda.