Cara membatasi crawl google bot pada website

Selamat Datang di Blog Orang IT . Postingan kali ini akan membahas mengenai bagaimana cara membatasi rate crawl dari google bot seperti yang kita ketahui bahwa untuk beberapa pengguna shared hosting berjamaah sering kali kehabisan resource salah satu penyebabnya dikarenakan frekuensi crawl google bot yang terlalu sering merayapi sebuah halaman , konten dan gambar didalamnya .

Proses crawling yang dilakukan google bot menghabiskan bandwith yang mengganggu stabilitas website . Perlu anda ketahui proses perayapan google bot itu memang penting namun bagi pengguna wordpress yang terlalu sering menarik perhatian bot spider sebaiknya memang melakukan limit pada kuota index agar maksimal

Untuk menghindari resiko diatas anda bisa melakukan limit pada rate crawl google bot melalui halaman google webmaster search console , pastikan website anda telah terdaftar sebelumnya di webmaster google agar pemilik bisa dengan mudah mengendalikan bot spider 

Daftarkan dulu website anda ke google webmaster https://www.google.com/webmasters/ , jika sudah langsung masuk pada properties website masing-masing baik menggunakan http atau non https sebaiknya disesuaikan dengan url situs yang aktif

Pada ikon roda gerigi pilih site setting Lakukan perubahan pada bagian “Crawl rate” dan ubah ke “Limit Google’s
maximum crawl rate” setelah itu akan muncul meter limit dan geser ke
“low” dan klik tombol “save”, bisa dilihat screenshot berikut

Perubahan crawl budget ketingkat terendah tidak akan menurunkan jumlah index situs anda , google akan tetap merayapi konten ketika anda melakukan update postingan terbaru jadi sekali lagi tidak ada yang perlu dikhawatirkan

Biasanya para pemain web agc yang konten nya banyak sering kali memaksimalkan kecepatan crawling bot spider sehingga konten mereka cepat terindex google mungkin 1000 konten terindex keseluruhan dalam waktu seminggu namun bagi pengguna shared hosting itu terlalu berat dan memakan resource sehingga menyebabkan site mereka down