Mengijinkan adsense untuk merayapi situs
Jika Anda memodifikasi file robots.txt situs untuk melarang perayap AdSense untuk mengindeks laman Anda, maka kami tidak akan dapat menayangkan iklan Google di laman ini.
Untuk memperbarui file robots.txt agar mengizinkan akses perayap ke laman Anda, hapus dua baris teks berikut dari file robots.txt:
User-agent: Mediapartners-Google
Disallow: /
Perubahan ini akan memungkinkan perayap kami mengindeks konten situs Anda dan menyediakan iklan Google. Perhatikan bahwa setiap perubahan yang Anda lakukan pada file robots.txt mungkin tidak tecermin dalam indeks kami, hingga perayap kami mencoba mengunjungi situs Anda lagi.
Sumber = https://support.google.com/adsense/answer/10532
Mengenal robot perayapan adsense
Perayap, dikenal juga dengan spider atau bot, adalah perangkat lunak yang digunakan Google untuk memproses dan mengindeks konten laman web. Perayap AdSense mengunjungi situs Anda untuk mengetahui kontennya guna menyediakan iklan yang relevan.
Berikut beberapa fakta penting yang perlu Anda ketahui tentang perayap AdSense:
Laporan perayap diperbarui setiap minggu.
Perayapan dijalankan secara otomatis dan kami tidak dapat memenuhi permintaan perayapan yang lebih sering.
Perayap AdSense berbeda dengan perayap Google.
Kedua perayap terpisah, tetapi memakai cache yang sama. Kami melakukan ini untuk mencegah kedua perayap meminta laman yang sama, sehingga membantu penayang menghemat bandwidth. Sama halnya, perayap Search Console mereka juga terpisah.
Mengatasi masalah perayapan AdSense tidak akan menyelesaikan masalah perayapan Google.
Mengatasi masalah yang tercantum di laman Akses perayap tidak akan berpengaruh pada penempatan Anda dalam hasil penelusuran Google.
Indeks perayap menurut URL.
Perayap kami akan mengakses “site.com” dan “www.site.com” secara terpisah. Namun, perayap kami tidak akan menghitung site.com dan site.com/#anchor secara terpisah.
Perayap tidak akan mengakses laman atau direktori yang dilarang oleh file robots.txt.
Kedua perayap Mitra Media Google dan AdSense menghargai file robots.txt Anda. Jika file robot.txt Anda melarang akses ke laman atau direktori tertentu, laman atau direktori tersebut tidak akan dirayapi.
Perlu di ingat bahwa jika Anda menayangkan iklan di laman yang dijadikan robot dengan baris User-agent: *, perayap AdSense akan tetap merayapi laman tersebut. Untuk mencegah perayap AdSense mengakses laman, Anda harus mencantumkan
User-agent: Mediapartners-Google di file robots.txt.
Perayap akan mencoba mengakses URL hanya bila tag kami diterapkan.
Hanya laman yang menampilkan iklan Google yang harus mengirimkan permintaan ke sistem kami dan dirayapi.
Perayap akan mencoba mengakses laman yang mengalihkan.
Bila Anda memiliki “laman orisinal” yang mengarahkan ke laman lain, perayap kami harus mengakses laman orisinal untuk mengetahui apakah alihan menggantikannya. Karenanya, kunjungan perayap kami ke laman orisinal akan muncul di log akses Anda.
Merayapi ulang situs
Saat ini, kami tidak dapat mengontrol seberapa sering perayap kami mengindeks konten situs Anda. Perayapan dilakukan otomatis oleh bot kami. Jika Anda membuat perubahan pada laman, perubahan itu mungkin memerlukan hingga 1-2 minggu agar tercermin dalam indeks kami.
Penyebab robot crawl adsense error
Memastikan situs Anda dapat di-crawl sepenuhnya bisa membantu Anda meningkatkan pendapatan dari konten. Untuk memastikan Anda telah mengoptimalkan situs untuk di-crawl, pertimbangkan semua masalah di bawah ini yang mungkin memengaruhi hal tersebut.
Memberikan akses ke crawler Google dalam robots.txt
Untuk memastikan kami dapat meng-crawl situs Anda, pastikan Anda telah memberikan akses ke crawler Google. Ini berarti mengaktifkan crawler Google di robots.txt Anda. Untuk petunjuk cara melakukannya, lihat: Mengijinkan adsense untuk merayapi situs [ paragraf ke 2 ]
Menyediakan akses ke semua konten yang hanya dapat diakses dengan login
Jika memiliki konten yang hanya dapat diakses dengan login, pastikan Anda telah menyiapkan login crawler.
Baca juga : Cara aman setting robots txt
Jika Anda belum memberikan login untuk crawler kami, kemungkinan crawler dialihkan ke halaman login, yang dapat mengakibatkan pelanggaran kebijakan “Tidak ada konten”, atau crawler kami menerima error 401 (Tidak Sah) atau 407 (Autentikasi Proxy Diperlukan), sehingga tidak dapat meng-crawl konten.
Halaman tidak ditemukan
Jika URL yang dikirim ke Google mengarah ke halaman yang tidak ada (atau tidak lagi tersedia) di situs, atau menghasilkan error 404 (Tidak Ditemukan), crawler Google tidak akan berhasil meng-crawl konten apa pun.
Mengganti URL
Jika Anda mengganti URL halaman dalam tag iklan, crawler Google mungkin tidak dapat mengambil konten halaman yang meminta iklan, terutama jika URL halaman yang ditimpa memiliki format yang salah.
Secara umum, URL halaman yang Anda kirim ke Google dalam permintaan iklan harus sesuai dengan URL sebenarnya dari halaman yang Anda monetisasi, untuk memastikan informasi kontekstual yang tepat sedang ditindaklanjuti oleh Google.
Masalah server nama
Jika server nama untuk domain atau subdomain Anda tidak mengarahkan crawler kami ke konten Anda dengan benar, atau memiliki batasan terkait lokasi asal permintaan, crawler kami mungkin tidak dapat menemukan konten Anda.
Menerapkan pengalihan
Jika situs Anda memiliki pengalihan, ada risiko bahwa crawler kami dapat mengalami masalah untuk menindaklanjutinya. Misalnya, jika ada banyak pengalihan, dan pengalihan perantara gagal, atau jika parameter penting seperti cookie dihapus selama pengalihan, hal tersebut dapat menurunkan kualitas crawling.
Pertimbangkan untuk meminimalkan penggunaan pengalihan pada halaman dengan kode iklan, dan memastikan pengalihan diterapkan dengan benar.
Masalah hosting
Terkadang saat crawler Google mencoba mengakses konten situs, server situs tidak dapat meresponsnya secara tepat waktu. Hal ini dapat terjadi karena server sedang tidak aktif, lambat, atau kelebihan beban akibat permintaan.
Sebaiknya pastikan situs Anda dihosting di server yang andal atau oleh penyedia layanan yang andal.
Batasan geografis, jaringan, atau IP
Beberapa situs mungkin menerapkan batasan yang membatasi geografi atau rentang IP yang dapat mengakses konten mereka, atau memiliki konten yang dihosting di jaringan atau rentang IP yang dibatasi (misalnya, 127.0.0.1).
Jika batasan ini mengakibatkan crawler Google tidak dapat mengakses semua halaman Anda, sebaiknya hapus batasan tersebut atau jadikan konten Anda dapat diakses oleh publik agar URL dapat di-crawl.
Konten yang baru dipublikasikan
Saat memublikasikan halaman baru, Anda dapat mengajukan permintaan iklan sebelum crawler Google meng-crawl konten. Contoh situs yang memposting banyak konten baru mencakup situs dengan konten buatan pengguna, artikel berita, inventaris produk yang besar, atau situs cuaca.
Biasanya setelah permintaan iklan diajukan pada URL baru, konten akan di-crawl dalam beberapa menit. Namun, selama beberapa menit awal ini, karena konten Anda belum di-crawl, Anda mungkin menerima volume iklan yang rendah.
Halaman yang dipersonalisasi (menggunakan parameter URL atau jalur URL yang dihasilkan secara dinamis)
Beberapa situs menyertakan parameter tambahan di URL mereka yang menunjukkan pengguna yang login (misalnya, ID Sesi), atau informasi lain yang mungkin unik untuk setiap kunjungan. Jika ini terjadi, crawler Google mungkin memperlakukan URL sebagai halaman baru, meskipun kontennya sama.
Hal ini dapat menyebabkan jeda beberapa menit antara permintaan iklan pertama pada halaman dan saat halaman di-crawl, serta peningkatan beban crawler pada server Anda.
Umumnya, jika konten pada halaman tidak berubah, pertimbangkan untuk menghapus parameter dari URL dan mencari cara lain agar parameter dari URL tersebut tetap ada. Memiliki struktur URL yang lebih sederhana membantu menjadikan situs Anda mudah di-crawl.
Menggunakan data POST
Jika situs Anda mengirimkan data POST beserta URL-nya (misalnya, mengirimkan data formulir melalui permintaan POST), situs mungkin menolak permintaan yang tidak disertai data POST.
Perhatikan bahwa karena crawler Google tidak akan menyediakan data POST apa pun, penyiapan seperti itu akan mencegah crawler mengakses halaman Anda. Jika konten halaman ditentukan oleh data yang dimasukkan pengguna ke formulir, sebaiknya gunakan permintaan GET.
Mengatasi penayangan adsense diblokir robots.txt
Jika situs Anda menggunakan file robots.txt, perayap AdSense dapat diblokir agar tidak merayapi laman web Anda. Karenanya, kami mungkin tidak dapat melayani Anda dengan iklan yang paling relevan berdasarkan konten situs web Anda.
Cek robots.txt anda dengan format www.helmykediri.com/robots.txt
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.helmykediri.com/sitemap.xml
Pada robots txt 2 baris paling atas memungkinkan bot AdSense (Mediapartners-Google) untuk merayapi konten situs Anda dan memberi Anda iklan Google yang paling relevan untuk halaman Anda.
User-agent: Mediapartners-Google
Disallow:
Sebenarnya, ini tidak ada gunanya. Anda memberi tahu bot Mediapartners-Google bahwa ia di izinkan untuk merayapi seluruh situs, dan kemudian Anda menyatakan bahwa setiap bot di izinkan untuk melakukannya – yang jelas juga mencakup Mediapartners-Google. Jadi, sebaiknya Anda hanya menyatakan ini:
User-agent: *
Disallow:
Saya melihat di Blogger menambahkan 1 baris Mediapartners-Google secara default, mungkin karena mereka tidak memiliki batasan yang mungkin berlaku untuk yang lain bot di baris selanjutnya membatasi pergerakan bot Mediapartners-Google.
Silahkan hapus 2 baris dari pengaturan robots.txt anda kemudian simpan
User-agent: Mediapartners-Google
Disallow:
