Setelah kita tahu pengertian robot txt , kita jadi tahu fungsi dari robot txt adalah mengatur mana alamat situs yang boleh di index mana yang tidak perlu di index . Pertanyaan selanjutnya adalah kenapa kita tidak membiarkan robot txt search engine menelusuri semua link yang ada di blog kita ?
Tentunya dari contoh masalah diatas link blog A lebih SEO Friendly dan lebih mudah artikelnya ditemukan dihalaman mesin pencari ketimbang Blog B . Mengingat banyaknya jumlah link yang ada di sebuah situs dan mengingat terbatasnya jumlah perayapan robot mesin pencari.
Beberapa waktu lalu teman saya sesama blogger pemula mengeluhkan tentang blog nya yang susah sekali keindex dimesin pencari , tidak mobile friendly padahal template nya sama dengan saya evomagz , beberapa deskripsi artikelnya hilang berganti ” deskripsi dibatas oleh robot txt “ , ternyata penyebabnya adalah dia berusaha menerapkan settingan robot txt super SEO yang didapat dari blog postingan tahun 2014 berikut robot txt nya.
User-agent: Mediapartners-Google :
// menunjukkan bahwa blog ini merupakan salah satu partner dari google , jika didalam blog terdapat iklan adsense maka akan membantu dalam menampilkan konten iklan yang sesuai dengan niche blog atau artikel yang akan dibuka
Disallow:
// menunjukkan ada yang tidak boleh dirayapi oleh mesin pencari
User-agent: Googlebot
// disini bahwa hanya robot pencari dari google akan melakukan perintah kode yang ada dibawahnya
Disallow: /search
// baris ini menunjukkan bahwa untuk link menuju pencarian dalam bentuk URL tidak akan di index dan dijelajah oleh bot crawler . Baris ini sangat penting untuk SEO blog anda dimana untuk link label , link archive , link pencarian tidak akan dirayapi. Hal ini berguna untuk menghindari duplikat konten pada blog.
misalnya saja helmy.com/search.label/seo
Disallow: /*?m=1
Disallow: /*?m=0
// fungsi kode ini menunjukkan bahwa robot crawl tidak boleh merayapi link menuju halaman redirect mobile phone , misal jika membuka blog namablog.com/?m=1 dengan tampilan mobile maka jika menerapkan kode ini akan dicekal dan tidak akan ditampilkan. ( blog akan selalu ditampilkan dalam versi template dekstop )
Selain itu fungsi ini juga menghindari duplikat halaman dimesin pencari yang akan ditampilkan kedalam versi mobile ,
Celakanya sekarang eranya mobilegeddon dimana mesin pencari menuntut agar beberapa situs support untuk dutampilkan kedalam versi mobile friendly jika anda masih menggunanakan perintah m=1 m =0 berikut beberapa dampak yang ditimbulkan :
– Blog menjadi tidak mobile SEO friendly , sekarang jamanya orang mencari template yang bisa otomatis menyesuaikan perangkat jika anda menggunakan potongan kode akses diatas maka secara otomatis robot txt akan mencekal halaman untuk ditampilkan kepada versi mobile phone
Kunjungi https://www.google.com/webmasters/tools/mobile-friendly/ , meskipun menggunakan template SEO Premium evomagz namun jika menggunakan perintah robot txt diatas hasilnya blog tidak mobile friendly
– Hilangnya deskripsi pencarian dalam mode tampilan mobile , jadi penggunaan dalam versi mobile deskripsinya akan berubah menjadi
“Deskripsi untuk hasil ini tidak tersedia karena robots.txt situs tersebut” cek pada gambar dibawah ini masih fresh
Meta deskripsi sangatlah penting karena google menggunakanya sebagai cuplikan dari artikel yang akan ditampilkan hal ini juga mempengaruhi visitor untuk menemukan mana konten relevans mana yang bukan apalagi karena kesalahan robot txt menyebabkan deskripsi blog hilang tentu mesin pencari akan sulit menentukan blog tersebut relevans untuk ditampilkan pada pengguna atau tidak
– Menurunkan peringkat di SERP google , sudah saya singgung diatas mengenai algoritma mobilegeddon dimana semua situs harus bisa tampil menyesuaikan perangkat mobile jika sampai dicekal robot txt berarti google akan menganggap bahwa blog anda hanya untuk dekstop tidak bisa ditampilkan pada perangkat mobile
Disallow: /*_*_*_archive.html
// Google bot crawl akan mengabaikan semua link yang ada di archive
Disallow: /*/*/*.html?showComment=*
// semua link dikoment akan diabaikan dan tidak akan ditelusuri
Disallow: /delete-comment.g?blogID=
// link blog dihapus tidak akan ditelusuri , usahakan hanya link menuju artikel post saja yang ditelusuri
User-agent: *
// ini adalah aturan untuk semua mesin pencari google yahoo , bing , yandex dll mengenai perintah lebih lengkap ada dibaris bawahnya
Disallow: /search
// tidak akan ditelusuri tidak akan dirayapi “/” melambangkan nama situs blog yang berkaitan dengan search
Sitemap: http://sensorgaenaksamaorangnya.blogspot.com/feeds/posts/default?orderby=UPDATED
// ini adalah halaman feed , karena berisi query untuk menampilkan update saja maka hanya 25 postingan saja yang akan ditampilkan tidak cocok digunakan pada blog yang artikelnya sudah ratusan
Setelah menganalisa permasalahan robot txt yang menyebabkan blog teman saya sangat sulit dirayapi mesin pencari sekarang kita akan memilih apakah mengembalikan robot txt kebawaan defaul atau masih mencoba untuk mengcustome robot txt agar SEO Optimal ?
1. Gunakan robot txt bawaan default saja
Sebenarnya settingan robot txt bawaan blogger inilah yang paling aman namun bukan berarti tidak efektif atau kurang optimal hanya saja sebagian orang menginginkan lebih cepat dan lebih baik padahal mengganti robot txt default resikonya cukup besar salah – salah malah blog hilang dari mesin pencari
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://helmykkediri.blogspot.com/sitemap.xml
Kita baca sekilas saja untuk menyingkat tulisan
Semua mesin pencari tidak perlu membaca tautan dengan blog.com/search/…/… , dan diperbolehkan untuk membaca tautan “/” ini adalah inisial untuk semua alamat URL postingan blog anda dan feed sitemap.xml akan membaca hasil dari rss feed anda mirip ketika anda membuka namablog.com/atom.xml
2. Cara custom robot txt paling aman
Anda ingin tetap mengcustome robot txt dan menginginkan beberapa halaman seperti about , tos , privacy, disclaimer dan beberapa halaman yang sifatnya memang tidak perlu ditampilkan agar tidak dirayapi mesin pencari gunakan robot txt berikut
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /dd/yy/about.html
Disallow: /dd/yy/contact.html
Allow: /
Sitemap: http://helmykkediri.blogspot.co.id/atom.xml?redirect=false&start-index=1&max-results=500
Jika postingan anda dibawah 500 gunakan sitemap diatas , kalau postingan anda ada ribuan cukup tambahkan dengan jarak 500
Sitemap: http://helmykkediri.blogspot.co.id/atom.xml?redirect=false&start-index=501&max-results=1000
Atau anda bisa menggunaka robot.txt dibawah ini . Arti konfigurasinya untuk semua artikel dan postingan akan diindex kecuali pencarian untuk label dan halaman update ( page ) ini berarti bahwa pencarian untuk komentar yang didelete akan dirayapi
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://xxx.blogspot.com/sitemap.xml
Cara menerapkanya robot txt di blogger cukup mudah :
1. Buka google masuk akun blogger – setelan – preferensi dan penelusuran , lihat jendela sebelah kanan
Defaultnya adalah nonaktifkan , silahkan klik edit dan paste kode robot txt disitu dan simpan
Oke selesai sudah capek ngetik hehe , silahkan dicek namablog.com/robots.txt
Peringatan lagi : Kesalahan saat setting robot txt menyebabkan situs anda diabaikan oleh mesin pencari , saran saya gunakan saja versi defaultnya atau jika ingin custome setidaknya anda paham terhadap setiap baris code yang anda tulis
Oh ya lupa ini tampilan tag tajuk robot nya , masuk ke setelan – preferensi penelusuran – tag tajuk robot khusus setting seperti gambar dibawah
Sedikit cara bacanya , kita memperbolehkan mesin pencari merayapi halaman utama beranda , default untuk isi post dan lama ( semua link blog yang ada ) dan kita melarang bot untuk menelusuri link arsip serta link mode penelusuran / pencarian . Begitulah
Demikian postingan mengenai Cara Aman setting robot txt blogger SEO Friendly semoga bermanfaat. Tulisan yang saya ketik terbatas dengan pengetahuan dan rasa ngantuk jadi jika ada kekeliruan mohon koreksinya . Sekian dan terimakasih
