Jika opsi kustom robots.txt di Setelan Blog dinonaktifkan, Blogger akan menyajikan robots.txt. Namun, secara default, robots.txt melarang bot untuk merayapi semua halaman di dalam dan di bawah segmen /search, yang mencakup halaman blog (misalnya /search) serta halaman label (misalnya /search/label/Product), yang kemungkinan bukan hal yang Anda inginkan.
Cara Mengatur Robot.txt
Untuk memperbaikinya, kita dapat menggunakan robots.txt dengan aturan khusus yang memungkinkan bot untuk merayapi halaman-halaman ini. Jika Anda tidak tahu cara kerjanya, Anda dapat menggunakan robots.txt khusus berikut, atau jika sudah memahami, silakan menulis sendiri atau memodifikasinya sesuai kebutuhan.
# all user agents
User-agent: *
# exclude pagination and query pages
Disallow: /search*updated-max=*
Disallow: /search*max-results=*
Disallow: /search*q=*
# include everything else
Allow: /
# sitemaps
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-pages.xmlUser-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.example.com/sitemap.xmlKesimpulan
Secara default, robots.txt mencegah bot merayapi halaman dalam segmen /search, termasuk halaman blog dan label, yang mungkin tidak diinginkan.
Untuk mengatasi masalah ini, Anda dapat menggunakan aturan khusus dalam robots.txt agar bot dapat mengakses halaman tersebut.
Jika belum memahami cara kerjanya, Anda bisa menggunakan contoh aturan yang sudah tersedia atau menyesuaikannya sesuai kebutuhan.
