Cara mengetahui url blog/website yang tidak terindex google

Selamat Datang di Blog Orang IT. Setelah mempublikasikan konten terbaru saya berharap konten tersebut segera terindex google search dan muncul dihalaman teratas , tentu saja sebagai webmaster kita semua tau bahwa konten yang menempati peringkat teratas google berpeluang lebih besar mendapatkan visitor organik dibandingkan konten yang menempati halaman 3 kebawah.

Tetapi dari sekian banyak konten yang kita terbitkan selama bertahun-tahun tetap saja ada beberapa bagian halaman yang deindex , karena dalam blogging index-deindex merupakan hal yang biasa terjadi terlebih ketika pemilik situs melakukan upaya-upaya untuk memanipulasi hasil pencarian seperti spam link , auto visitor , ping dll

Index : Artikel blog muncul dihalaman pencarian google

Deindex : Artikel blog yang sebelumnya muncul dihalaman pencarian google tiba-tiba menghilang meski dicari dengan url langsung

Banyak webmaster pamer screenshoot bahwa artikel mereka sudah terindex hanya dalam waktu kurang dari 1 jam setelah dipublish , tentu saja itu adalah hal yang membanggakan karena mereka ingin pengunjung organik segera melihat konten mereka , dan tentu saja jumlah visitor yang lebih banyak akan meningkatkan kemungkinan terjadinya konversi klik iklan/pembelian

Faktanya tidak selamanya seluruh artikel di blog www.helmykediri.com dapat terindex oleh google , dari 1300 konten yang terbit saya yakin ada sekitar 10-20 konten yang mengalami deindex karena berbagai faktor

Mengapa artikel bisa deindex ? ada beberapa penyebab diantaranya :

> Aturan robot txt yang terkadang memblokir googlebot untuk merayapi konten tertentu termasuk konten lama dengan tag lastmode yang baru saja diupdate

> Daftar sitemap digoogle webmaster pada dasarnya akan dirayapi secara realtime namun saat situs anda down “5xx” “4xx” membuat proses perayapan tidak berjalan sempurna

> Terlalu banyak spam link / backlink berkualitas rendah yang membuat google memberikan sanksi berupa deindex

> Miskin tautan , pada dasarnya google spider merayapi website melalui tautan-tautan yang direkomendasikan melalui internal link ataupun eksternal link

Ketika halaman anda berdiri sendiri tanpa ditautkan dari halaman manapun dan miskin backlink sehingga menyebabkan otoritasnya rendah dan tidak dihargai oleh bot mesin telusur

> Akibat di PING berulang kali , beberapa service ping online seperti pingotomatic akan mengirimkan query pencarian website anda kedaftar mesin pencari yang mereka miliki , tetapi ping berlebihan justru membuat halaman anda seperti tengah melakukan usaha spam

> Bisa juga karena konten yang anda terbitkan hasil copas dari blog www.helmykediri.com , kemungkinanya google mengabaikan setiap artikel yang dianggap mirip karena tidak memberikan manfaat lebih bagi pengguna

Termasuk ketika pemilik konten original mengajukan gugatan DMCA bahwa kontennya telah disalin sehingga google menghapus index halaman blog yang dianggap copas

> Terdeteksi adanya upaya pembangunan tautan link yang dianggap tidak wajar sehingga google memberikan sanksi berupa deindex

> Konten tidak relevan yang topiknya tidak mampu dipahami oleh googlebot 

> Berganti domain setiap tahun seperti saya padahal indeks dari domain lama masih ada sehingga google menganggapnya sebagai duplicate

Saya telah menyebutkan sebelumnya bahwa dari 1300 artikel saya ada sekitar 10-20 artikel mengalami deindex , data yang bisa kita ketahui hanya berupa prakiraan angka saja

Sedangkan saya tidak bisa mengetahui daftar konten mana saja yang belum terindex google atau mengalami deindex karena pada menu google search console mereka tidak menunjukkan daftarnya.

Padahal, mungkin dengan meningkatnya jumlah index akan berbanding lurus dengan peningkatan traffic blog

Oleh sebab itu pada postingan kali ini Blog Orang IT akan membagikan sebuah trik bagaimana mengetahui daftar artikel/konten website mana saja yang tidak terindex oleh google :

Perlu anda ketahui dengan melakukan audit pada situs untuk mengetahui daftar artikel yang belum terindeks google bisa membantu anda mengevaluasi ulang dan melakukan optimasi tambahan terhadap konten yang mengalami deindex agar muncul kembali dihalaman google

Bagaimana agar artikel lama terindeks kembali ? kita akan bahas dibagian akhir nanti

Sitemap atau peta situs berisi daftar url yang ada didalam situs blog anda

Untuk melihat daftar sitemap gunakan query www.helmykediri.com/sitemap.xml atau https://www.helmykediri.com/sitemap.xml?page=1 ( setiap sitemap berisi 150 url) file sitemap sifatnya otomatis diperbaharui

Untuk pengguna platform wordpress dan blogger mungkin tampilannya akan sedikit berbeda

Bagi pengguna wordpress biasanya mereka membuat sitemapnya sendiri dengan plugin xml sitemap generator sementara pengguna blogger daftar sitemap mereka otomatis digenerate oleh host mereka

Copas semua url sitemap kedalam notepad lalu gunakan fitur replace untuk menghapus tag <loc></lastmod></url><url>

Kunjungi daftar layanan untuk cek status url code , ketikkan saja digoogle “bulk url checker” “check url index google”

Misal = https://httpstatus.io/ atau https://smallseotools.com/google-index-checker/

Masukkan daftar url anda disana dan klik check

Anda akan mengetahui mana saja halaman yang deindex biasanya itu memiliki kinerja yang rendah sehingga google bot gagal merayapi halaman itu

Ini adalah layanan yang dikhususkan untuk melakukan cek terhadap index situs digoogle , dan masih ada lebih banyak layanan seperti ini di internet

Cara ini bisa saya katakan 30% akurat , karena inputan url yang anda masukkan dalam format HTTP dan HTTPS akan berbeda hasilnya tergantung mana yang terindex google dan mana format yang anda gunakan

Semua orang sudah tau bahwa google search console merupakan saluran khusus yang memantau kesehatan situs anda secara berkelanjutan , apapun error dan pesan pelanggaran yang diterima semuanya akan di informasikan melalui halaman search console

Buka situs https://search.google.com/search-console terbaru > klik coverage > klik error > scroll kebawah kalau ada masalah dalam perayapan anda akan melihat laporan “submits url has crawl issue” silahkan diklik maka anda akan melihat daftar halaman yang mengalami masalah perayapan biasanya halaman ini tidak terindex google

Disana ada 4 url error silahkan dicopy paste kedalam notepad untuk nanti kita perbaiki . Disana anda juga bisa melihat pada bagian tab valid jumlah halaman terindex ada 1500 sesuai dengan jumlah konten saya 1543 lagi pula pelaporan data digoogle search console diambil dari rekap data 2-3 bulan sebelumnya jadi ini bukan data realtime

Tinggalkan halaman google search console versi lama karena itu sudah ditutup , anda harus mulai terbiasa dengan halaman terbaru

Kita bisa menggunakan google search untuk mengetahui data terkini berapa jumlah total halaman blog kita yang sudah ditambahkan kedalam database mereka , jika data di search console dirangkum dari 1-2 bulan sebelumnya maka data google search sifatnya lebih nyata

Saran : Lakukan cara ini dalam mode incognito / private browser

Pertama, buka halaman https://google.com lalu klik dibagian setelan > setelan penelusuran > hasil perhalaman pilih 100 (opsional) supaya lebih mudah saja dalam melakukan cek mana artikel yang tidak terindex, sangat efektif untuk blog yang jumlah kontennya kurang dari 100

Kedua , buat bookmark . Caranya klik kanan pada address bar pilih add page , kalau tab bookmark tidak muncul klik kanan centang show bookmark bar lalu setelah itu klik kanan pilih add page

Setelah itu copy paste kode dibawah ini :

javascript:(function(){tar=” target=’_blank’”;os=”http://www.onlinesales.co.uk”;home=”<A href=’”+os+”/tools/bookmarklets/serps’”+tar+”>Online Sales’s SERPs Bookmarklet</a>”;cono=”<div class=’container’>”;rowo=”<div class=’row’>”;colo=”<div class=’col-sm-6′>”;colro=”<div class=’col-sm-12′>”;divc=”</div>n”;tao=”<textarea class=’form-control’ rows=10>”;tac=”</textarea>”;foot=”<div class=’footer text-center’ style=’margin-top:3em’>”;lnk=”;ank=”;desc=”;ads=”;i=0;c=0;results=new Array();str=”<link href=’https://maxcdn.bootstrapcdn.com/bootstrap/3.3.7/css/bootstrap.min.css’ rel=’stylesheet’ type=’text/css’>”;str+=”<link href=’”+os+”/inc/css/seo.css’ rel=’stylesheet’ type=’text/css’>”;str+=”<style>textarea{!height:200px;}</style>”;str+=cono+rowo+”<div class=’col-sm-12′>”;str+=”<h1>”+home+”</h1><table class=’table striped’>n”;if(document.forms[0]){if(document.forms[0].elements.q){str+=”<h2>Search: <a href=’”+window.location+”‘ “+tar+”‘>”+document.forms[0].elements.q.value+”</a></h2>”}} divs=document.getElementsByTagName(“div”);for(j=0;j<divs.length;j++){if(divs[j].className==’r’){c++;results[c]=new Array();if(ahrefs=divs[j].getElementsByTagName(‘a’)){if(ahrefs[0].href!=””){results[c].href=ahrefs[0].href}} if(h3s=divs[j].getElementsByTagName(‘h3′)){if(h3s.innerText!=””){results[c].title=h3s[0].innerText}}}else if(divs[j].className==’s’){results[c].desc=divs[j].innerText.replace(/n|r|t/g,’ ‘)}} for(k=1;k<results.length;k++){i++;str+='<tr><td>’+i+'</td><td>’+results[k].href+'</td>’;str+=”<td><a target=’_blank’ href=’”+results[k].href+”‘>”;str+=results[k].title;str+='</a><td></tr>’;lnk+=results[k].href+’n’;ank+=results[k].href+’t’;ank+=results[k].title+’n’;desc+=results[k].href+’t’;desc+=results[k].title+’t’;desc+=results[k].desc+’n’} str+='</table>’+divc+divc;str+=rowo+colo+'<h2>Links</h2>’+tao+lnk+tac+divc;str+=colo+'<h2>Links – Titles</h2>’+tao+ank+tac+divc+divc;str+=rowo+colro+'<h2>Links – Title – Description</h2>’+tao+desc+tac+divc+divc;str+=foot+”<hr><p>”+home+” Version 3.5 by <a href=’http://twitter.com/liamvictor/’”+tar+”>Liam Delahunty</a> of <a href=’”+os+”‘”+tar+”>Online Sales</a></p>”+divc+divc;with(window.open()){document.write(str);document.close()}})()

Masukkan kedalam field URL , tenang saja kode diatas aman dan tidak akan mencuri data apapun atau melakukan aktivitas aneh yang merugikan

Jika anda khawatir kodenya error saat dicopy paste langsung saja buka situs resminya disini > https://www.onlinesales.co.uk/tools/tools/bookmarklet-serps.php

Silahkan seret button hijau “serps 18” kedalam bilah bookmark

Fungsi kode ini adalah mengambil seluruh url yang ditemukan pada hasil pencarian google

Ketiga , buka google.com lalu ketikkan operator pencarian site:namadomain

Contoh site:helmykediri.com

Query ini akan menampilkan daftar halaman yang terindex diblog anda

Klik tombol bookmark “serps 18” yang sudah anda buat tadi , selanjutnya akan terbuka tab baru

Karena sebelumnya kita sudah atur agar hasil pencarianya 100/halaman tidak mungkin kita copas 1-1 oleh sebab itu saya sarankan menambahkan tombol bookmark diatas , tinggal buka hasil pencarian dan klik bookmark otomatis mereka akan mengumpulkan daftar url dihalaman pencarian

Kalau jumlah index anda sangat banyak silahkan buka setiap halaman dan klik bookmark ‘serp 18’ satu persatu

Fokus saja pada kolom Links , ini adalah daftar url blog kita yang sudah terindeks selanjutnya copy paste ke notepad

Setelah melakukan berbagai upaya diatas kita telah mendapatkan data-data yang diperlukan selanjutnya kita bandingkan melalui google sheets  

Kita buat 2 kolom , kolom pertama isinya daftar url dari sitemap / peta situs tinggal discrap dari sitemap lalu dihapus dengan fitur replace bagian tag-tag yang tidak diperlukan sehingga diperolah url telanjang

* Bisa juga menggunakan layanan sitemap generator yang mengecualikan date 

Kolom kedua berisi daftar url yang kita dapat pada hasil pencarian google , untuk membandingkannya lebih mudah kalau pakai addons “remove duplicates” install disini

> https://chrome.google.com/webstore/detail/removeduplicates/bckmhokpcdnhhjldhhfpebhdfipmlbog

Lihat gambar dibawah dibagian kiri daftar url sitemap dan disebelah kanan daftar url index google

Silahkan diblok semuanya pilih menu pengaya/addons > remove duplicates > find duplicates or unique cells > sorot daftar cells > next > find isi uniques > next

Hasilnya anda bisa lihat dibagian url sitemap ada 2 tanda warna kuning yang tidak ada pada kolom url index google , sekilas terlihat sama namun kalau diperhatikan dengan teliti saya hanya menambah 1 huruf saja untuk membuatnya terlihat berbeda hehe

Url blog yang deindex harus segera di index ulang kegoogle , jangan sampai usaha yang anda curahkan untuk menulis artikel dimasa lalu berakhir sia-sia hanya gara-gara deindex

Bagaimana caranya ? ada beberapa hal yang bisa anda coba :

> Lakukan edit pada artikel lama dengan menambahkan 2-3 paragraf baru kemudian publikasikan ulang .

Dengan mempublish ulang artikel lama berarti statusnya di sitemap pada lastmode akan diperbaharui dan googlebot akan merayapi ulang url tersebut untuk mengetahui perubahan yang telah dilakukan

> Tautkan pada internal link , buat artikel baru lalu buat tautan internal link kehalaman yang deindex . Googlebot bekerja seperti laba-laba dengan merayapi setiap halaman yang saling menaut

> Berikan backlink dari situs lain , buat saja postingan di kaskus atau medium.com

> SUbmit ulang url ke google webmaster search console

> Gunakan layanan ping dan indexer kalau perlu *khusus untuk yang sudah berpengalaman

Sebelumnya saya telah membuat tutorial agar artikel blog cepat terindeks google , sayang sekali kalau artikel yang saya tulis ini tidak anda baca

Silahkan > Mempercepat proses index blog kegoogle

Demikian postingan mengenai cara mengetahui url blog / website yang tidak terindeks google atau mengalami deindex semoga bermanfaat. Saya sudah berusaha membuat tutorial yang mudah dimengerti dan saya tau beberapa orang sulit memahaminya kalau tanpa video. Jika memungkinkan lain kali saya akan membuat video tutorial bagaimana mengetahui artikel situs yang belum terindeks google

Salam https://helmykediri.com