CARA MEMPERBAIKI URL YANG DICEKAL ROBOT TXT WEBMASTER
Selamat Datang di Blog Orang IT . Postingan saya kali ini singkat saja mengenai bagaimana cara mengatasi dan memperbaiki url blog yang dicekal oleh robot txt pada laporan yang diberikan oleh google webmaster . Seperti kita tahu alat webmaster google merupakan tools seo gratisan yang disediakan google untuk memantau kesehatan dari situs blog yang ditautkan dari waktu-kewaktu
URL blog tang dicekal oleh robot webmaster secara otomatis tidak akan dirayapi apalagi dicrawl , jadi URL tersebut tidak ditampilkan dihasil penelusuran google
Apasih robot txt
Robot txt merupakan bot online yang merayapi bagian terdalam dari sebuah situs yang menunjukkan mana tautan yang boleh dicrawl mana yang tidak , dengan robot txt akan membantu web crawl dalam proses index in kemesin pencari guna menghemat crawl budget dan memaksimalkan halaman postingan dibandingkan halaman tidak penting lainya
Melalui webmaster google kita bisa mengetahui beberapa penyebab error yang menghalangi bot google saat melakukan proses crawling , dan memperbaikinya saat itu juga nah berikut beberapa contoh error yang biasanya ditampilkan oleh webmaster
error 404 merupakan error halaman tidak ditemukan bisa berasal dari url yang sudah terindex google namun dihapus maupun kesalahan dalam pemberian link baik internal link maupun backlink yang mengarah pada laman kosong
error 503 merupakan kesalahan karena google gagal saat mengakses blog akibat server down atau gangguan , error ini asalnya murni dari penyedia hosting atau domain dampak buruknya saat google melakukan perayapan dan terjadi down seperti ini proses index akan tertunda ( komplain tuh penyedia domain atau hosting )
error 301 redirect pengalihan asalnya bisa dari iklan popup yang mengganggu atau redirect yang diterapkan secara sengaja untuk mengalihkan halaman kosong ke halaman lain misalnya homepage . Redirect yang tidak relevans menyebbakan situs terkena pinalti sneakyredirect
error sumber daya diblokir disebabkan oleh resource iklan maupun gambar yang diambil dari hosting lain dan kita tidak memverifikasikan kepemilikan , misalnya saat mengambil gambar dari wp self host kita tidak punya ijin untuk menggunakan resource gambar tersebut hasilnya url diblok oleh google dsb
error duplikat title dan deskription biasanya karena masalah template dan settingan robot txt yang membuat terjadinya duplikat post dimesin pencari
Semua solusi untuk masalah error diatas sudah saya bahas diblog ini tinggal yang belum saja mengenai error karena url dicekal oleh robot
Coba anda masuk ke google webmaster dibagian Google index – status index disana anda bisa lihat berapa jumlah url blog anda yang sudah terindex dan berapa jumla url yang terindeks tapi dicekal
Berikut contoh keliru dalam mengatasi url blog yang dicekal oleh robot txt
1. Mengedit robot txt dengan menghapus /search
User-agent: Mediapartners-Google
Disallow:User-agent: *
Disallow: /search
Allow: /Sitemap: http://helmykkediri.com/sitemap.xml
Anda tahu apa itu fungsi disavow:/search ? memang terkadang jika anda menghapus search pada robot txt masalah error karena url dicekal robot bisa teratasi namun itu salah
Bot google memiliki intensitas untuk merayapi sebuah halaman situs pada waktu-waktu tertentu dengan kuota index yang terbatas atau kita namakan crawl budget artinya jumlah index halaman yang terbatas dalam satu waktu
Fungsi disavow pada pencarian menandakan bahwa kita meminta google untuk tidak merayapi halaman pencarian baik label , arsip dan hasil pencarian yang menghabiskan kuota index google
http://helmykkediri.blogspot.co.id/search/label/Software
http://www.helmykkediri.com/search?q=Helmy+tampan
Hal ini penting untuk memaksimalkan bot google agar hanya merayapi link url konten saja karena apa yang ditampilkan di mesin pencari bukanlah halaman pencarian tapi halaman postingan selengkapnya mengenai robot txt anda bisa baca postingan saya yang lain
Baca ini : Cara aman setting robot txt
2. Merubah setting tag tajuk robot khusus
Settingan ini hanya terdapat pada blogger , fungsi tag tajuk robot khusus ini mirip seperti robot txt namun lebih lengkap , selain mengatur jumlah halaman yang boleh diindex pada settingan ini juga terdapat url yang ingin dijadikan nofollow dalam artian tidak perlu di ikuti oleh bot spider
Biasanya beberapa tutorial memberikan tips agar merubah settingan robot khusus ini kemode all artinya semua boleh di index dan dicrawl
Tapi hal itu tidak perlu dilakukan kembali kepoint crawl budget yang terbatas , jika bugget index anda habis hanya untuk merayapi link yang sifatnya dinamis , link eksternal link yang ga penting atau laman yang memang tidak memiliki nilai guna bisa dipastikan anda akan merasakan artikel postingan yang baru saja diterbitkan akan susah sekali terindex dimesin pencari
Nah berikut cara setting tag tajuk robot khusus lengkap dengan penjelasanya sudah saya bahas dipostingan yang lain
Baca ini : Setting tag tajuk robot blogger
Cara memperbaiki url dicekal robot txt dengan benar
1. Silahkan anda baca dulu beberapa point diatas mengenai kesalahan cara memperbaiki url dicekal robot webmaster jika sudah pastikan anda tidak panik lagi ketika melihat jumlah url yang dicekal karena pada dasarnya url yang dicekal merupakan aturan yang kita buat sendiri untuk menghemat crawl budget jadi tidak perlu terlalu panik
Baca ini : Cara optimasi crawl budget agar seo
2. Selanjutnya periksa kesalahan tag update
Ketika anda memiliki artikel yang sudah terindex oleh google kemudian mengeditnya untuk dipublish ulang bot yang datang merayapi otomatis mengetahui bahwa ada perubahan sedikit data pada artikel yang telah terindex tersebut
Google akan memanggil perintah ” update ” yang terdapat pada struktur template , masalahnya saat anda memperbaharui artikel dan google tidak menemukan tags update pada template karena belum sesuai data terstruktur otomatis robot google akan mencekal url tersebut
Bahasa awamnya ketika google sudah mengenal sebuah link kemudian dilakukan pembaharuan update , google akan saling memanggil dengan bantuan tgs update untuk memberitahukan bahwa artikel ini baru saja diupdate
Solusinya pastikan template blog anda sudah sesuai dengan data terstruktur jangan sampai ada error pada bagian tags update seperti gambar dibawah
Cara lain untuk mengatasi url dicekal karena tidak ditemukan tag update adalah dengan mengedit robot txt menjadi seperti ini
User-agent: Mediapartners-Google
Disallow:User-agent: *
Disallow: /search
Allow: /Sitemap: http://helmykkediri.com/feeds/posts/default?orderby=updated
Saat merayapi situs bot google menggunakan pedoman robot txt dengan membaca sitemap / peta situs jika anda menggunakan sitemap
http://helmykkediri.com/sitemap.xml maka yang dirayapi paling atas adalah bagian url yang terakhir kali dipublish kan tidak termasuk yang terakhir kali diupdate mungkin kalian pernah lihat diwebmaster status error 404 yang ditaut malah dari feed blogger
http://helmykkediri.com/feeds/posts/default?orderby=updated sementara peta situs ini hanya menampilkan 25 post terakhir yang diupdate baik post terakhir maupun update terakhir
Demikian postingan saya mengenai cara memperbaiki url yang dicekal robot digoogle webmaster sepertinya ada hal lain yang terlewatkan akan saya tambahkan dikemudian hari jika ingat terimakasih sudah berkunjung bagikan pengalaman anda dikomentar
