Cara Mengatasi Url Diblokir oleh Robot.txt
Apakah ini terjadi pada Anda?
URL diblokir oleh robots.txt.
Apa solusinya?
Untuk memperbaiki halaman atau url di blok oleh robots txt biasanya terjadi pengaturan masalah robots txt yang tidak cocok, mengakibatkan pemblokiran halaman yang pada akhirnya tidak akan muncul pada pencarian.
File menggunakan Standar Pengecualian Robots, yang merupakan protokol dengan sekumpulan perintah kecil yang dapat digunakan untuk menunjukkan akses ke situs berdasarkan bagian dan oleh jenis perayap web tertentu. Lebih bisa dilihat disini
Robot txt berguna untuk menjelajah setiap kata di seluruh halaman url Anda. Misalnya, teks dan mengirim data yang dikumpulkan di indeks google.
segera cari tahu tentang masalah robots.txt URL yang diblokir!
Ini akan menjadi peringatan bagi webmaster untuk segera diperbaiki. Jika masalah ini tidak ditangani, akan menyebabkan semua halaman noindex.
Mungkin halaman blok robots.txt
Untuk mencari masalah di atas. Anda dapat mengunjungi konsol pencarian google dan memeriksa situs Anda. Misalnya, Anda dapat melihat gambar di bawah ini.
ikuti contohnya:
URL diblokir oleh robots.txt.
Apa solusinya?
Untuk memperbaiki halaman atau url di blok oleh robots txt biasanya terjadi pengaturan masalah robots txt yang tidak cocok, mengakibatkan pemblokiran halaman yang pada akhirnya tidak akan muncul pada pencarian.
Pelajari tentang file robots.txt
file atau artikel yang menunjukkan bagian dalam situs Anda yang tidak memungkinkan untuk diakses oleh crawler mesin pencari.File menggunakan Standar Pengecualian Robots, yang merupakan protokol dengan sekumpulan perintah kecil yang dapat digunakan untuk menunjukkan akses ke situs berdasarkan bagian dan oleh jenis perayap web tertentu. Lebih bisa dilihat disini
Mengapa halaman web diblokir?
Robot txt berguna untuk menjelajah setiap kata di seluruh halaman url Anda. Misalnya, teks dan mengirim data yang dikumpulkan di indeks google.segera cari tahu tentang masalah robots.txt URL yang diblokir!
Ini akan menjadi peringatan bagi webmaster untuk segera diperbaiki. Jika masalah ini tidak ditangani, akan menyebabkan semua halaman noindex.
Mungkin halaman blok robots.txt
- Kesalahan dalam pengaturan tag robot (noindex)
- Kemungkinan halaman Anda telah dihapus
- Robot menemukan konten data yang tidak valid
Untuk mencari masalah di atas. Anda dapat mengunjungi konsol pencarian google dan memeriksa situs Anda. Misalnya, Anda dapat melihat gambar di bawah ini.
Untuk memperbaiki URL dicekal oleh robot.txt
#Langkah 1 Buka beranda blog> pengaturan> klik preferensi pencarian> robots.txt khusus dan pilih ya.
#Langkah 2 Salin kode robot.txt di bawah ini
#Langkah 2 Salin kode robot.txt di bawah ini
Contoh:# Step3 Pilih tag tajuk robot khusus> edit> ya
Agen-pengguna: Mediapartners-Google
Melarang:
Agen pengguna: *
Melarang:
Izinkan: /
Sitemap: http://mistercudok.blogspot.com/feeds/posts/default?orderby=updated
ikuti contohnya:
# Step4 Semuanya membutuhkan proses, Anda harus menunggu dan bersabar. Sedikit demi sedikit url di blok itu akan hilang dengan sendirinya.
Saya harap ini sangat berguna untuk Anda. Terimakasih telah berkunjung!
Saya harap ini sangat berguna untuk Anda. Terimakasih telah berkunjung!