Pengertian robot.txt dan cara mengaturnya diblogger

Selamat Datang di Blog Orang IT . Postingan saya kali ini akan menjelaskan mengenai apa itu robot txt dan bagaimana cara mengoptimalkannya untuk SEO , beberapa postingan yang pernah saya publikasikan sering kali menyebut istilah robot.txt khusus namun saya tidak pernah menjelaskan maksudnya karena saya anggap pembaca sudah memahami apa itu robot.txt 

Ternyata saya salah , beberapa pembaca blog saya lebih tertarik untuk menanyakan arti dari istilah khusus seperti apa itu robot.txt ? tag tajuk robot khusus ? apasih crawl budget ? dll artikel yang susah payah saya tulis ternyata tidak bisa dipahami oleh pembaca karena penggunaan istilah-istilah yang memang belum dimengerti oleh blogger awam

Pada dasarnya robot txt hanyalah sebuah rule / aturan yang mengatur bagaimana cara bot google merayapi situs anda

Untuk mengetahui struktur robots txt yang digunakan oleh suatu website gunakan format berikut https://www.helmykediri.com/robots.txt , ganti link blog saya dengan link blog anda sendiri

Secara default robot txt situs anda akan melarang google bot untuk merayapi halaman pencarian karena dianggap menghabiskan crawl budget dimana efeknya membuat otoritas halaman yang diunggulkan menjadi melemah

Sekali lagi saya menyebutkan istilah aneh yaitu crawl budget , jika anda penasaran baca saja artikel yang menjelaskan lebih lanjut mengenai apa itu crawl budget ?

Karena pengaturan robot txt secara default mengijinkan perayapan semua halaman kecuali pencarian , label, arsip, maka tak heran bila artikel blog anda bisa terindeks oleh mesin pencari google baik konten utama dimenu entri maupun konten dihalaman statis hanya saja anda tidak akan melihat indeks untuk halaman pencarian di search engine google khususnya bagi pengguna blogger

Fungsi khusus dari penggunaan robot txt adalah untuk membatasi perayapan google bot seperti pembatasan index dihalaman arsip , dihalaman pencarian atau tidak mengijinkan index gambar karena anda khawatir jika gambar berhak cipta yang anda gunakan pada salah satu konten mendapatkan keluhan DMCA maka situs anda akan menerima pinalti dari google

Dengan mengatur robot txt anda bisa memfokuskan indeks artikel dan meningkatkan ranking halaman hanya pada konten utama yang dikehendaki saja, dengan mengabaikan halaman kurang penting berarti kuota crawl budget anda lebih banyak

Apa untungnya jika crawl budget lebih banyak ? ada banyak diantaranya

Karena saking sensitifnya robot txt , para pemilik web disarankan untuk mengerti terlebih dahulu sebelum mengaktifkan pengaturan robot txt khusus diwebsite mereka

Contoh penggunanan robot txt

Meskipun disetelan default blogger terlihat bahwa pengaturan robot txt tidak aktif , sebenarnya google bot sendiri sudah memiliki pengaturan bawaan yang mengatur bagaimana cara mereka merayapi sebuah halaman

Pengaturan robot txt default bisa anda lihat langsung dihalaman webmaster search console dibagian menu perayapan > pengujian robot txt

Disana anda akan melihat bagaimana aturan default dari robot txt google , sebenarnya anda juga bisa menguji 7 bot google lainnya seperti Googlebot, Googlebot-News, Googlebot-Image, Googlebot-Video, Googlebot-Mobile, Mediapartners-Google, Adsbot-Google.

Jika saat pengujian muncul keterangan di ijinkan berarti bot google dapat merayapi blog anda dengan aman tapi jika statusnya dicekal maka bot google tidak akan bisa merayapi halaman itu . Ketika anda ingin mengaktifkan robot txt diblogger silahkan copy paste dulu pengaturan anda di google webmaster search console untuk memastikan bahwa  bot google masih memiliki ijin untuk mengakses situs anda

Penggunaan robot txt sangat berpengaruh terhadap SEO , sedikit kesalahan dari penerapan aturan robot txt dapat membuat situs anda hilang dari halaman penelusuran google

Sebagai contoh , ini adalah kode robot.txt default

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.helmykediri.com/sitemap.xml

Nah sekarang pertanyaannya: bagaimana yang dimaksud robot.txt khusus ? robot.txt khusus adalah robot txt yang sudah diberikan sentuhan tambahan oleh pemilik situs sehingga google bot hanya mengindeks atau tidak mengindeks permalink halaman yang sudah ditetapkan oleh pemilik situs sebelumnya

Pemilik situs memiliki kewenangan untuk mengatur perilaku google bot , pastikan anda memahami fungsi setiap baris dari isi robot txt yang akan anda gunakan

Dalam contoh kasus didalam website anda terdapat halaman yang jika terindeks digoogle dikhawatirkan memicu gugatan DMCA dari pihak yang merasa dirugikan , misal saya memposting tools zombie hunter yang saya beli secara gratis , suatu ketika pengembang tools tersebut menyadari produknya telah dibajak dan mengajukan gugatan ke DMCA

Jika gugatan mereka diterima efeknya konten tersebut bisa saja dihapus oleh google jika anda pengguna platform blogger , sanksi lain seperti deindex dalam kasus ini yang terkena dampak bukan hanya konten yang dimaksud namun beberapa konten lain juga bisa mengalami deindex sampai penurunan peringkat . SEO situs anda akan menurun karena sebuah pelanggaran efeknya lalu lintas blog juga turun

Anda hanya mentargetkan halaman yang share tools blog zombie gratis untuk dikunjungi visitor yang berasal dari forum atau group yang anda ikuti saja , untuk itu anda bisa mengatur robot txt seperti ini

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /www.helmykediri.com/p/zombi-hunter-freemium.html
Disallow: /www.helmykediri.com/zombie-gratis.html
Allow: /
Sitemap: https://www.helmykediri.com/sitemap.xml

Contoh lainnya adalah ketika anda menambahkan label diblog yang mengandung unsur pembajakan maka anda juga bisa menyembunyikan postingan dengan label tertentu agar tidak di indeks oleh google bot

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /software
Allow: /
Sitemap: https://www.helmykediri.com/sitemap.xml

Dengan menambahkan fungsi disallow didepan URL maka google bot tidak akan merayapi konten yang sudah anda tandai sebagai zona terlarang untuk di indeks

Jadi secara default pengaturan robot txt didashboard blogger memang tidak aktif , tapi google bot sudah memiliki robot.txt default

Pemilik situs bisa memodifikasi aturan robot txt sesuka hati mereka asalkan mereka paham , mengaktifkan pengaturan robot txt khusus sifatnya hanyalah optional bagi pengguna berpengalaman

Jadi bagi yang masih abu-abu terkait robot txt sebaiknya belajar dulu dan melakukan testing dialat pengujian robot txt tester yang terdapat di layanan google webmaster search console

Ini contoh ketika saya melakukan pengujian robot txt di GSC

Jika anda sudah mantap ingin mengaktifkan pengaturan robot txt diblogger , anda juga harus menambahkannya di google search console buka fitur robots.txt tester, tekan tombol submit untuk mengupdate / upload robots.txt. Biasanya akan muncul pop-up yang berisi 3 pilihan, silahkan pilih submit untuk pembaharuan robots.txt, setelah selesai lakukan refresh pada search console untuk melihat hasilnya

Sekali lagi caranya adalah dengan mengaktifkan robot txt didashboard blogger tambahkan aturan robot txt yang anda buat disana , kemudian kita update dihalaman GSC menu robot txt tester , paste kode robot txt yang baru kemudian klik submit dan pilih nomor 3

Jika sukses muncul notifikasi Success! Reload the Tester page in a minute to confirm the timestamp.

Setelah itu scroll kebawah saatnya menguji robot txt situs anda dengan menambahkan namadomain.com/robots.txt pastikan statusnya allowed

Demikian postingan mengenai penjelasan robot txt khusus diblogger , banyak orang membandingkan kenapa robot txt disitus sebelah sangat panjang sementara disitus yang lain tidak menerapkan aturan robot txt padahal situsnya ramai ? setiap webmaster memiliki strateginya masing-masing apa yang menurut anda baik belum tentu menurut mereka baik juga bisa jadi malah sebaliknya oleh karena itu saya katakan bahwa anda harus bereksperiment sendiri untuk menemukan pola yang tepat untuk blog anda sendiri, jadikan situs lain sifatnya hanyalah sebagai referensi