(Tanya) Masalah Cakupan : Diindeks, meski diblokir oleh robots.txt

Discussion in 'Blogger' started by Yuyutsu, Nov 18, 2020.

Tags:
  1. Yuyutsu

    Yuyutsu Member

    Joined:
    Mar 22, 2015
    Messages:
    315
    Likes Received:
    35
    Trophy Points:
    28
    Assalamu 'alaikum,

    Mohon pencerahan. Hari ini saya dapet email dari Google Search Console yang ngasih tau kalo ada masalah cakupan dengan keterangan diindeks meski diblokir oleh robots.txt.

    Tindaklanjut dari saya, ngecek robots.txt dan kedapetan kalo isinya seperti ini:

    HTML:
    User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.dipopedia.com/sitemap.xml
    Selanjutnya saya cek setelan blog terutama dibagian Crawler dan pengindeksan yang ternyata ga saya rubah masih seperti adanya.

    Langkah ketiga, saya cek langsung ke Google Search Console dan kedapetan url yang bermasalah adalah url hasil penelusuran.

    Code:
    http://www.dipopedia.com/search?updated-max=2020-07-16T13:27:00%2B07:00&max-results=10
    Pertanyaannya, apa saya harus rubah robots.txt sementara saya ga mau hasil penelusuran diindex? Kedua, kalo saya ga ngambil tindakan apa pun, risikonya apa ya?

    Gitu aja, terima kasih.

    Wassalam.
     
    Yuyutsu, Nov 18, 2020
    #1
  2. ncang

    ncang Super Level

    Joined:
    Feb 7, 2013
    Messages:
    4,653
    Likes Received:
    761
    Trophy Points:
    113
    Google+:
    dibiarkan gak masalah karena sebetulnya sudah Disallow, tapi kenapa masih ke index ? Bisa keindex kalau ada halaman yang ngasih link dofollow ke url tersebut misalnya breadcrumb, widget label, prev next navigation dll.
     
    ncang, Nov 18, 2020
    #2
  3. Yuyutsu

    Yuyutsu Member

    Joined:
    Mar 22, 2015
    Messages:
    315
    Likes Received:
    35
    Trophy Points:
    28
    Makasih responnya.

    Kalo breadcrumb, widget label, prev next navigation saya ga pake. Tapi kalo form pencarian ada karna ada yg bilang biar user friendly. Widget lainnya juga ga ngarah ke url hasil penelusuran.

    Sampe saat ini saya juga belom ambil tindakan.
     
    Yuyutsu, Nov 18, 2020
    #3
  4. ncang

    ncang Super Level

    Joined:
    Feb 7, 2013
    Messages:
    4,653
    Likes Received:
    761
    Trophy Points:
    113
    Google+:
    coba view source, ini samplenya
    Code:
    <a class='blog-pager-older-link' href='http://www.dipopedia.com/search?updated-max=2020-07-16T13:27:00%2B07:00&max-results=10' id='Blog1_blog-pager-older-link' title='Postingan Lama'>Postingan Lama</a>
    setiap halaman pasti generate url yg berbeda.
     
    ncang, Nov 18, 2020
    #4
  5. Yuyutsu

    Yuyutsu Member

    Joined:
    Mar 22, 2015
    Messages:
    315
    Likes Received:
    35
    Trophy Points:
    28
    Padahal ini udah di-hide pake kode css #blog-pager {display:none;} ternyata masih bisa nonggol juga biarpun dibrowser engga keliatan.
     
    Yuyutsu, Nov 18, 2020
    #5
  6. KangAndre

    KangAndre Member

    Joined:
    Jan 25, 2014
    Messages:
    10,253
    Likes Received:
    2,716
    Trophy Points:
    413
    Diabaikan saja nggak ada masalah. Nanti hilang sendiri notifikasinya.
    Ini berlaku hanya untuk pengguna via browser, tapi robot masih bisa membaca.
     
    KangAndre, Nov 18, 2020
    #6
  7. Yuyutsu

    Yuyutsu Member

    Joined:
    Mar 22, 2015
    Messages:
    315
    Likes Received:
    35
    Trophy Points:
    28
    Iya, @KangAndre , ntar saya liat progressnya.

    Ini yang ga saya antisipasi, tapi apa bisa ya?
     
    Yuyutsu, Nov 18, 2020
    #7
  8. Arif Rachman Hakim

    Arif Rachman Hakim Member

    Joined:
    May 4, 2014
    Messages:
    391
    Likes Received:
    29
    Trophy Points:
    28
    Google+:
    saya pakai ini sejauh ini aman tidak ada masalah
    HTML:
    User-agent: *
Disallow:

Sitemap: https://www.multimedialy.com/sitemap.xml
Sitemap: https://www.multimedialy.com/feeds/posts/default
Sitemap: https://www.multimedialy.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://www.multimedialy.com/sitemap-pages.xml
    dan jangan lupa (kalau belum ada) tambahan tag ini di <head>...</head>
    HTML:
    <b:if cond='data:view.isArchive'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>
<b:if cond='data:blog.searchQuery'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>
<b:if cond='data:blog.searchLabel'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>
     
    Arif Rachman Hakim, Nov 19, 2020
    #8
    Yuyutsu likes this.
  9. Yuyutsu

    Yuyutsu Member

    Joined:
    Mar 22, 2015
    Messages:
    315
    Likes Received:
    35
    Trophy Points:
    28
    Makasih, Den. Tag itu memang belom ada dan sekarang udah saya pasang :).
     
    Yuyutsu, Nov 19, 2020
    #9
Loading...
Similar Threads - (Tanya) Masalah Cakupan
  1. Ibay

    Ganasnya Google Deindex dan Sandbox (Tanya)

    Ibay, Apr 8, 2015, in forum: Blogger
    Replies:
    47
    Views:
    5,854
    Aji Oke
    Apr 15, 2015
  2. Damar

    (Tanya) Privacy Policy Menggunakan Bahasa Inggris atau Indonesia?

    Damar, Feb 26, 2015, in forum: Blogger
    Replies:
    9
    Views:
    2,250
    Hari Agustomo Nugroho
    Apr 8, 2015
  3. teknolime

    Tanya masalah Ganti Template blog (TOLONG BANTU JAWAB)

    teknolime, Nov 22, 2018, in forum: Blogger
    Replies:
    11
    Views:
    4,481
    irvangen
    Jan 7, 2019
  4. siddiqrn

    [ASK] Masalah Index Blog Baru

    siddiqrn, May 19, 2018, in forum: Blogger
    Replies:
    13
    Views:
    1,861
    siddiqrn
    May 21, 2018
  5. Haryono

    [ask] kenapa template blog saya susah diedit, apakah ada masalah disitus blogger.com?

    Haryono, Jan 5, 2016, in forum: Blogger
    Replies:
    24
    Views:
    4,595
    Haryono
    Jan 10, 2016

Share This Page