Semakin besar kapasitas crawl budget situs anda , maka beberapa postingan terbaru serta postingan yang baru saja diedit , perubahan nya akan segera ditampilan ke google dalam waktu relatif cepat maksimal 1-2 hari
Apa itu pengoptimalan crawl budget?
Jika situs web Anda memiliki lebih banyak halaman dan links dari pada jumlah crawl budget nya , maka beberapa halaman situs web Anda mungkin tidak diindeks oleh Google ( butuh waktu lebih lama sampai di indeks oleh google ). Oleh karena itu, beberapa webmaster mencoba mengoptimalkan crawl budget dengan memblokir laman yang kurang penting dari situs web mereka menggunakan file robots.txt
Bagi pengguna blogger kita bisa mengatur robot perayap untuk tidak mengindeks beberapa laman kurang berharga seperti arsip , search , halaman statis , link komentar , sidewide dll jika crawl budget anda habis hanya untuk merayapi link tidak berguna seperti ini efeknya beberapa postingan utama akan mengalami penundaan indeks dan bukan hanya itu saja , fokus untuk menaikkan peringkat juga terhambat karena bot crawl terlalu fokus merayapi laman kurang berharga
Dengan memblokir file yang kurang penting, Google dapat mengindeks lebih banyak halaman penting di situs web.
Baca juga : Cara optimasi crawl budget agar SEO
Google Mueller mengatakan di Twitter bahwa mengoptimasi anggaran crawl budget adalah topik yang menarik. Namun, itu hanya relevan jika Anda memiliki situs web dengan jutaan URL. Pengoptimalan crawl budget tidak penting bagi pemilik situs yang masih memiliki sedikit konten :
Crawl budget IMO dinilai terlalu tinggi. Sebagian besar situs tidak perlu khawatir tentang hal ini. Ini adalah topik yang menarik, dan jika Anda merayapi web atau menjalankan situs multi-juta-URL, itu penting, tetapi bagi pemilik situs rata-rata jangan terlalu diperhatikan
– John (@JohnMu) 30 Mei 2018
Saya pikir itu menjadi jelas tentang itu semua. Menghapus 25 halaman yang tidak berguna sangat bagus untuk situs yang lebih ramping, dan dapat membantu pengguna agar tidak tersesat di sana, tetapi itu bukan pertanyaan tentang crawl budget. Apakah orang hanya melakukannya untuk bonus SEO? Bagaimana kami dapat membantu Anda jika anda tidak membantu mereka ( pengunjung ) ?
– John (@JohnMu) 30 Mei 2018
Periksa situs web Anda dengan alat audit web seperti SEOprofiler untuk mengetahui laman mana yang dapat ditemukan oleh mesin telusur di situs web Anda. Alat audit situs web ini akan menunjukkan kesalahan yang mencegah mesin telusur mengindeks laman Anda.
Anda juga akan mengetahui berapa banyak klik yang diperlukan orang untuk menemukan halaman tertentu di situs web Anda, Anda akan mengetahui apakah server Anda aman, dan masih banyak lagi. Anda dapat membuat akun SEOprofiler secara gratis