Mesin Pencari

Cara Mengatasi Url Diblokir oleh Robot.txt

Apakah ini terjadi pada Anda?

URL diblokir oleh robots.txt.

Apa solusinya?

Untuk memperbaiki halaman atau url di blok oleh robots txt biasanya terjadi pengaturan masalah robots txt yang tidak cocok, mengakibatkan pemblokiran halaman yang pada akhirnya tidak akan muncul pada pencarian.

Pelajari tentang file robots.txt

file atau artikel yang menunjukkan bagian dalam situs Anda yang tidak memungkinkan untuk diakses oleh crawler mesin pencari.

File menggunakan Standar Pengecualian Robots, yang merupakan protokol dengan sekumpulan perintah kecil yang dapat digunakan untuk menunjukkan akses ke situs berdasarkan bagian dan oleh jenis perayap web tertentu. Lebih bisa dilihat disini


Mengapa halaman web diblokir?

Robot txt berguna untuk menjelajah setiap kata di seluruh halaman url Anda. Misalnya, teks dan mengirim data yang dikumpulkan di indeks google.

segera cari tahu tentang masalah robots.txt URL yang diblokir!

Ini akan menjadi peringatan bagi webmaster untuk segera diperbaiki. Jika masalah ini tidak ditangani, akan menyebabkan semua halaman noindex.

Mungkin halaman blok robots.txt

  1. Kesalahan dalam pengaturan tag robot (noindex)
  2. Kemungkinan halaman Anda telah dihapus
  3. Robot menemukan konten data yang tidak valid


Untuk mencari masalah di atas. Anda dapat mengunjungi konsol pencarian google dan memeriksa situs Anda. Misalnya, Anda dapat melihat gambar di bawah ini.



Untuk memperbaiki URL dicekal oleh robot.txt

#Langkah 1 Buka beranda blog> pengaturan> klik preferensi pencarian> robots.txt khusus dan pilih ya.

#Langkah 2 Salin kode robot.txt di bawah ini




Jangan lupa untuk mengubah situs web mistercudok, menjadi alamat situs web Anda. Hapus kode <br />
Contoh:
Agen-pengguna: Mediapartners-Google
Melarang:
Agen pengguna: *
Melarang:
Izinkan: /
Sitemap: http://mistercudok.blogspot.com/feeds/posts/default?orderby=updated
# Step3 Pilih tag tajuk robot khusus> edit> ya


ikuti contohnya:



# Step4 Semuanya membutuhkan proses, Anda harus menunggu dan bersabar. Sedikit demi sedikit url di blok itu akan hilang dengan sendirinya.

Saya harap ini sangat berguna untuk Anda. Terimakasih telah berkunjung!


Next Post Previous Post
No Comment
Add Comment
comment url