Pentingnya mengoptimalkan crawl budget untuk website

by

helmy

Selamat Datang di Blog Orang IT.  Crawl budget adalah batas jumlah halaman / links yang akan dirayapi dan di indeks oleh Google kemesin pencari. Banyaknya crawl budget setiap situs ditentukan oleh ukuran situs web itu sendiri, jika website anda masih baru biasanya google kurang memperhatikan setiap link yang dimiliki oleh situs tersebut
Sebaliknya jika sebuah situs dianggap populer , selalu uptodate serta memiliki lalu lintas links ( internal dan eksternal ) yang padat jumlah crawl budget untuk satu kali perayapan cukup besar. 
Beberapa hal yang di indeks oleh robot crawl meliputi jumlah tautan yang mengarah ke situs web Anda,  jumlah kesalahan yang ditemui Google di situs Anda dan keseluruhan link aktif dihalaman situs anda ( kecuali link dengan attribut nofollow )

Semakin besar kapasitas crawl budget situs anda , maka beberapa postingan terbaru serta postingan yang baru saja diedit , perubahan nya akan segera ditampilan ke google dalam waktu relatif cepat maksimal 1-2 hari

Apa itu pengoptimalan crawl budget?

Jika situs web Anda memiliki lebih banyak halaman dan links dari pada jumlah crawl budget nya , maka beberapa halaman situs web Anda mungkin tidak diindeks oleh Google ( butuh waktu lebih lama sampai di indeks oleh google ). Oleh karena itu, beberapa webmaster mencoba mengoptimalkan crawl budget dengan memblokir laman yang kurang penting dari situs web mereka menggunakan file robots.txt 


Bagi pengguna blogger kita bisa mengatur robot perayap untuk tidak mengindeks beberapa laman kurang berharga seperti arsip , search , halaman statis , link komentar , sidewide dll jika crawl budget anda habis hanya untuk merayapi link tidak berguna seperti ini efeknya beberapa postingan utama akan mengalami penundaan indeks dan bukan hanya itu saja , fokus untuk menaikkan peringkat juga terhambat karena bot crawl terlalu fokus merayapi laman kurang berharga

Dengan memblokir file yang kurang penting, Google dapat mengindeks lebih banyak halaman penting di situs web.
Apa yang dikatakan pakar Google tentang pengoptimalan crawl budget ?

Google Mueller mengatakan di Twitter bahwa mengoptimasi anggaran crawl budget adalah topik yang menarik. Namun, itu hanya relevan jika Anda memiliki situs web dengan jutaan URL. Pengoptimalan crawl budget tidak penting bagi pemilik situs yang masih memiliki sedikit konten :

Crawl budget IMO dinilai terlalu tinggi. Sebagian besar situs tidak perlu khawatir tentang hal ini. Ini adalah topik yang menarik, dan jika Anda merayapi web atau menjalankan situs multi-juta-URL, itu penting, tetapi bagi pemilik situs rata-rata jangan terlalu diperhatikan

– John  (@JohnMu) 30 Mei 2018

Menghapus halaman yang tidak penting dari situs web Anda merupakan ide yang bagus. Segala sesuatu yang membantu pengunjung situs web anda untuk menemukan konten yang relevan lebih disarankan:

Saya pikir itu menjadi jelas tentang itu semua. Menghapus 25 halaman yang tidak berguna sangat bagus untuk situs yang lebih ramping, dan dapat membantu pengguna agar tidak tersesat di sana, tetapi itu bukan pertanyaan tentang crawl budget. Apakah orang hanya melakukannya untuk bonus SEO? Bagaimana kami dapat membantu Anda jika anda tidak membantu mereka ( pengunjung ) ?

– John (@JohnMu) 30 Mei 2018

Bagaimana cara memeriksa jumlah halaman situs Anda yang sudah berhasil di indeks oleh robot perayap google ?

Periksa situs web Anda dengan alat audit web seperti SEOprofiler untuk mengetahui laman mana yang dapat ditemukan oleh mesin telusur di situs web Anda. Alat audit situs web ini akan menunjukkan kesalahan yang mencegah mesin telusur mengindeks laman Anda.

mengoptimalkan crawl budget

Anda juga akan mengetahui berapa banyak klik yang diperlukan orang untuk menemukan halaman tertentu di situs web Anda, Anda akan mengetahui apakah server Anda aman, dan masih banyak lagi. Anda dapat membuat akun SEOprofiler secara gratis

Related Post