Selamat Datang di BlogOrangIT – Pada postingan kali ini saya akan berbagi tips memblokir perayapan bot crawl dari alat-alat SEO seperti ahrefs, majestic, moz dan semrush yang biasa dipakai oleh mastah-mastah untuk melihat footprint backlink, keyword potensial pada suatu website/blog
Siapa sih yang suka di intipin? risih kali ya kalau tiba-tiba muncul similiar site yang isinya mengambil apa yang terbaik dari website/blog kita doang khususnya pada artikel-artikel yang potensial mendatangkan trafik, tentunya ini bisa mengurangi kunjungan organik karena keyword kita ditiru oleh pesaing-pesaing apalagi kalau mereka memakai AGC mungkin peringkat anda bisa tersingkir dari halaman pertama google
Blogger jaman sekarang pinter-pinter, yang dulunya sekedar asal ngeblog kini hanya fokus membuat konten yang bisa mendulang keuntungan. Kebanyakan tutorial diforum-forum telah membahas penggunaan layanan SEO seperti ahrefs, semrush, moz dan majestic untuk mengintip backlink kompetitor, mengetahui daftar kata kunci bertrafic dengan tingkat persaingan middle pada situs kompetitor dan membongkar berbagai kelemahan lainnya
Karena hampir sebagian orang sudah melek internet, cepat atau lambat sebagai blogger mereka akan segera beradaptasi dengan layanan SEO service semacam ini.
Sama dengan google yang menggunakan botcrawl untuk merayapi situs anda..
Layanan service SEO dari ahrefs, majestic, moz dan semrush juga menggunakan botcrawl untuk mengumpulkan data situs anda. Sebenarnya perilaku dari botcrawl bisa kita atur melalui robots.txt atau htaccess.. kita dapat menolak crawling yang berasal dari layanan service SEO seperti ahrefs, moz, semrush dan majestic dengan mudah tanpa harus takut kehilangan visibilitas digoogle
Cara botcrawl bekerja
Bot bekerja dengan cara merayapi seluruh bagian halaman/url dari website anda untuk mengumpulkan data-data penting seperti perubahan konten, tautan perujuk/backlink, popular keywords, halaman baru dan sebagainya. Keberadaan botcrawl juga sering disebut dengan istilah crawl frontier
Keuntungan memblokir bot dari layanan SEO
Kompetitor tidak akan bisa melihat data-data dari situs anda seperti daftar backlink, trafik, skor domain, keyword potensial dan sebagainya. Kasian juga kalau kompetitor anda berlangganan paket lite $99/minggu diAhrefs kalau tidak bisa dipakai untuk menganalisis situs anda hehe
Kekurangan memblokir bot dari layanan SEO
Layanan SEO Service tidak hanya digunakan oleh kompetitor, pemilik website juga bisa berlangganan untuk memonitoring performasi website melalui halaman audit, itu termasuk menemukan broken link, element halaman penghambat bot crawl dari mesin pencari, tautan spam dan sebagainya
Cara memblokir bot crawl dari SEO Service
Anda bisa menggunakan robots.txt untuk memblokir nama agen dari bot layanan SEO tertentu, kebanyakan webmaster memang menggunakan robots.txt karena dianggap lebih mudah, cepat dan instruksi baris kodenya jelas
Baca juga: Daftar template AMP blogger terbaik
Kalau nama botcrawl dari mesin pencari google adalah googlebot, mediapartners-google
Sementara kalau dari layanan SEO,
Majestic SEO -> User-agent: MJ12bot
MOZ OpenSiteExplorer -> User-agent: rogerbot
Ahrefs -> User-agent: AhrefsBot
Semrush -> User-agent: SemrushBot
Kalau anda pakai platform blogger masuk ke menu setelan > crawler dan pengindeksan > aktifkan robots.txt > paste teks berikut
User-agent: Rogerbot
User-agent: Exabot
User-agent: MJ12bot
User-agent: SemrushBot
User-agent: Dotbot
User-agent: Gigabot
User-agent: AhrefsBot
User-agent: BlackWidow
User-agent: ChinaClaw
User-agent: Custo
User-agent: DISCo
User-agent: Download Demon
User-agent: eCatch
User-agent: EirGrabber
User-agent: EmailSiphon
User-agent: EmailWolf
User-agent: Express WebPictures
User-agent: ExtractorPro
User-agent: EyeNetIE
User-agent: FlashGet
User-agent: GetRight
User-agent: GetWeb!
User-agent: Go!Zilla
User-agent: Go-Ahead-Got-It
User-agent: GrabNet
User-agent: Grafula
User-agent: HMView
User-agent: HTTrack
User-agent: Image Stripper
User-agent: Image Sucker
User-agent: Indy Library
User-agent: InterGET
User-agent: Internet Ninja
User-agent: JetCar
User-agent: JOC Web Spider
User-agent: larbin
User-agent: LeechFTP
User-agent: Mass Downloader
User-agent: MIDown tool
User-agent: Mister PiX
User-agent: Navroad
User-agent: NearSite
User-agent: NetAnts
User-agent: NetSpider
User-agent: Net Vampire
User-agent: NetZIP
User-agent: Octopus
User-agent: Offline Explorer
User-agent: Offline Navigator
User-agent: PageGrabber
User-agent: Papa Foto
User-agent: pavuk
User-agent: pcBrowser
User-agent: RealDownload
User-agent: ReGet
User-agent: SiteSnagger
User-agent: SmartDownload
User-agent: SuperBot
User-agent: SuperHTTP
User-agent: Surfbot
User-agent: tAkeOut
User-agent: Teleport Pro
User-agent: VoidEYE
User-agent: Web Image Collector
User-agent: Web Sucker
User-agent: WebAuto
User-agent: WebCopier
User-agent: WebFetch
User-agent: WebGo IS
User-agent: WebLeacher
User-agent: WebReaper
User-agent: WebSauger
User-agent: Website eXtractor
User-agent: Website Quester
User-agent: WebStripper
User-agent: WebWhacker
User-agent: WebZIP
User-agent: Wget
User-agent: Widow
User-agent: WWWOFFLE
User-agent: Xaldon WebSpider
User-agent: Zeus
Disallow: /
Setelah itu simpan dan cek apakah aturan robots.txt yang baru sudah diterapkan atau belum. Caranya cukup tambahkan /robots.txt dibelakang nama domain
contoh: https://www.helmykediri.com/robots.txt
Bagi pengguna wordpress bisa disetting melalui file .htaccess, buka cpanel > file manager > temukan file .htaccess (kalau tidak ketemu buka menu settings > show hidden files)
Paste kode berikut dibawahnya
SetEnvIfNoCase User-Agent .*rogerbot.* bad_bot
SetEnvIfNoCase User-Agent .*exabot.* bad_bot
SetEnvIfNoCase User-Agent .*mj12bot.* bad_bot
SetEnvIfNoCase User-Agent .*dotbot.* bad_bot
SetEnvIfNoCase User-Agent .*gigabot.* bad_bot
SetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot
SetEnvIfNoCase User-Agent .*sitebot.* bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
Setelah itu cek blog/website anda apakah sudah berhasil memblokir perayapan dari layanan service SEO intip backlink Ahrefs atau belum,
Ceknya disini https://ahrefs.com/robot
Sudah diblokir kan?
Yang lainnya ceknya disini:
https://www.semrush.com/bot/
https://www.mj12bot.com/
Persaingan sengit dalam dunia SEO memang tidak terelakkan lagi mengingat google hanya membatasi 10 hasil result terbaik disetiap halamannya, SEO bukan hanya tentang bagaimana mencapai halaman pertama google tetapi juga bagaimana menjadi lebih baik dari kompetitor anda saat ini
Kenapa statusnya masih allow?
Anda mungkin harus menunggu sampai 1×24 jam hingga penerapan robots.txt yang baru benar-benar diaplikasikan ke website/blog anda
Kenapa ketika dianalisis hasilnya tidak null, padahal botcrawlnya sudah diblokir?
Ini karena layanan SEO seperti Ahrefs masih menyimpan data anda dari hasil analisis sebelumnya
Demikian artikel mengenai cara memblokir perayapan bot dari layanan Service SEO Ahrefs, Majectis, Moz dan Semrush. Semoga apa yang saya bagikan bermanfaat terlepas dari pro dan kontra selama ini. Cara cepat menghasilkan uang dari blog/website adalah dengan banyak melakukan riset, mengambil apa yang terbaik dari kompetitor (footprint backlink, keyword) dan tentunya menjaga kesehatan website kita sendiri dengan layanan SEO Audit Tools
www.helmykediri.com,
