Menyiapkan robots.txt dan tag header robot Blogger memudahkan mesin telusur merayapi blog Anda, sehingga artikel diindeks lebih cepat. Jika diatur dengan benar, blog tersebut SEO friendly. Sebaliknya jika kurang tepat, blog akan diabaikan oleh mesin pencari sehingga artikel tidak muncul di hasil pencarian.
Baca juga: Domain Gratis MY.ID untuk Blogger Selama 3 Tahun
Oleh karena itu, diperlukan pengaturan yang aman agar blog tidak terkena dampak negatif. Nyatanya, tidak perlu menyetel file robots.txt, ini sudah aktif sendiri sejak blog pertama kali dibuat.
Aplikasi default ini adalah yang paling aman. Tetapi jika Anda ingin melakukan konfigurasi tambahan, ikuti tutorial cara mengatur file robots.txt di Blogger di bawah ini.
Cara mengatur robots.txt di Blogger agar SEO
Buka Setelan » Crawler dan pengindeksan »Aktifkan robots.txt kustom » Klik Edit.
Pada opsi untuk mengaktifkan konten robot.txt ubahsuaian? Pilih Aktifkan / "Ya". Kemudian masukkan pengaturan robot.txt aman berikut.
User-agent: *
Allow: /
Disallow: /search
Sitemap: https://www.blogkamu.com/sitemap.xml
Setelah selesai, klik tombol "Save"
Baca juga: Auto direct Link Postingan saat di Copas Orang
Mencegah perayapan URL halaman tertentu
Nah, jika ada halaman pribadi yang tidak ingin Anda crawl, yang harus Anda lakukan adalah menambahkannya ke Disallow. Contohnya seperti ini:
User-agent: *
Allow: /
Disallow: /search
Disallow: /p/mantan.html
Disallow: /2021/01/mantan-ngajak-balikan.html
Sitemap: https://www.blogkamu.com/sitemap.xml
Untuk memeriksa apakah file robots.txt telah berubah dan cocok dengan pengaturan di atas, buka URL berikut.
https://www.blogkamu.com/robots.txt
Mengatur Setelan tag tajuk robot khusus di Blogger
Menu yang sama, yaitu crawler dan pengindeksan, di bagian Tag header robot khusus, klik Edit. Di opsi Aktifkan tag tajuk robot khusus? Pilih "Ya". Cocokkan pengaturan dengan gambar di bawah ini.
Tag halaman Beranda
Tag arsip dan halaman penelusuran
Tag postingan dan halaman
Saya pikir sudah jelas tentang menyetel tag robot.txt dan header robot khusus di Blogger, karena pengaturan ini sudah sangat familiar dan banyak digunakan. Jika terjadi kesalahan mohon berkomentar di bawah ini.
Baca juga: 9 Situs Blog Ping Otomatis untuk Meningkatkan Traffic Blog
