Skip to main content

Cara membatasi crawl google bot

Selamat Datang di Blog Orang IT . Postingan kali ini akan membahas mengenai bagaimana cara membatasi rate crawl dari google bot seperti yang kita ketahui bahwa untuk beberapa pengguna shared hosting berjamaah sering kali kehabisan resource salah satu penyebabnya dikarenakan frekuensi crawl google bot yang terlalu sering merayapi sebuah halaman , konten dan gambar didalamnya .

Proses crawling yang dilakukan google bot menghabiskan bandwith yang mengganggu stabilitas website . Perlu anda ketahui proses perayapan google bot itu memang penting namun bagi pengguna wordpress yang terlalu sering menarik perhatian bot spider sebaiknya memang melakukan limit pada kuota index agar maksimal

Untuk menghindari resiko diatas anda bisa melakukan limit pada rate crawl google bot melalui halaman google webmaster search console , pastikan website anda telah terdaftar sebelumnya di webmaster google agar pemilik bisa dengan mudah mengendalikan bot spider 

Daftarkan dulu website anda ke google webmaster https://www.google.com/webmasters/ , jika sudah langsung masuk pada properties website masing-masing baik menggunakan http atau non https sebaiknya disesuaikan dengan url situs yang aktif

Pada ikon roda gerigi pilih site setting Lakukan perubahan pada bagian “Crawl rate” dan ubah ke “Limit Google’s maximum crawl rate” setelah itu akan muncul meter limit dan geser ke “low” dan klik tombol “save”, bisa dilihat screenshot berikut

membatasi crawl google bot

Perubahan crawl budget ketingkat terendah tidak akan menurunkan jumlah index situs anda , google akan tetap merayapi konten ketika anda melakukan update postingan terbaru jadi sekali lagi tidak ada yang perlu dikhawatirkan

Biasanya para pemain web agc yang konten nya banyak sering kali memaksimalkan kecepatan crawling bot spider sehingga konten mereka cepat terindex google mungkin 1000 konten terindex keseluruhan dalam waktu seminggu namun bagi pengguna shared hosting itu terlalu berat dan memakan resource sehingga menyebabkan site mereka down
Jika Anda merasa bahwa artikel-artikel di blog ini bermanfaat, Anda bisa memberikan donasi melalui Paypal.

Jika ingin menyalin artikel sertakan sumber atau situs anda akan berhadapan dengan DMCA baik blogger ataupun wordpress; resiko halaman disembunyikan dari SERP dan ditandai sebagai webspam
Buka Komentar
Tutup Komentar