[ASK] Robot.txt Blogspot

Maaf, teman-teman Bersosial semua, bolehkah saya bertanya something? Pertanyaannya seputar robot.txt. Akhir-akhir ini saya sering sekali dihadapkan pada permasalahan kesalahan perayap. Beberapa sumber, menyebutkan jika permasalahan saya itu disebabkan oleh kesalahan pemasangan robot.txt.

Secara umum, saya memasang robot file seperti di bawah ini:

Code:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: 

Sitemap: http://DOMAINSAYA.com/feeds/posts/default?orderby=updated

Apakah dari robot.txt yang saya pasang itu ada kesalahan. Karena, kesalahan perayap ini makin sering sekali. Contoh: 2013/07/review-film-korea-harmony-music-in.html, padahal, url aslinya /2013/07/film-korea-harmony-music-in-prison.html.

Nah, dari temen-temen Bersosial, ada saran nggak untuk mengatasi problematika saya ini? Itu kira-kira kenapa ya.

 

Mungkin master-master akan

Mungkin master-master akan menjawab nya sebentar
Tunggu in aja

 

kalau masalah robots.txt saya

kalau masalah robots.txt saya kurang begitu paham, coba lihat contoh2 dan penjelasannya di sini https://support.google.com/webmasters/answer/156449?hl=en
soalnya kalau salah setting bisa2 gak keindex semua, atau bisa juga malah keindex semua termasuk comentar-comentar pengunjung, jadi kudu hati2, soalnya punyaku sampai saat ini masih pakai default punya blogger

btw itu yg Disallow koq gk ada forward slash-nya (/)

 

wphoet wrote:

Nah, saya emang masih bingung mas... Hehehe... tapi, saya baru ngeh kalau itu settingan saya sepertinya salah. salahnya dimana masih saya selidiki. Saya emang nggak baca itu support google, karena awam makin bingung juga. Tapi, saya pake caranya Sugeng di h**p://mas-sugeng.com/2013/01/mengatasi-duplikat-konten-di-blogspot.html

 

berkata

Ilmu ane belum sampe sini, masih bingung. Moga aja deh master bisa bantu..

 

kalau sekilas untuk mengatasi

kalau sekilas untuk mengatasi duplikat konten cukup dibagian "tag header robot khusus" noindex noarchive nofollow , untuk Contoh: 2013/07/review-film-korea-harmony-music-in.html, padahal, url aslinya /2013/07/film-korea-harmony-music-in-prison.html ini maksudnya bagaimana ? apa ganti judul atau redirect ke url baru ?

 

ncang wrote:

Jadi, url asli h**p://BLOGSAYA.com/2013/07/film-korea-harmony-music-in-prison.html, tapi kemudian di webmaster ada url h**p://BLOGSAYA.com/2013/07/film-korea-harmony-music-in.html. Maksudnya gimana saya juga belum ngerti. bisa minta penerapannya? Saya menerapkan seperti yang punya mas sugeng itu >> h**p://mas-sugeng.com/2013/01/mengatasi-duplikat-konten-di-blogspot.html

 

nah , sudah dijawab semua kan

nah , sudah dijawab semua kan oleh master SEO disini
jadi tinggal nyimak aje deh *biggrin*

 

aneh juga kalau muncul h**p:/

aneh juga kalau muncul h**p://BLOGSAYA.com/2013/07/film-korea-harmony-music-in.html padahal url aslinya beda sama sekali, kalau mau coba silakan ke dashboard blogger kemudian cari bagian "search preferences" disana ada "custom redirects" , klik edit kemudian isi from "/2013/07/film-korea-harmony-music-in.html" to nya "/2013/07/film-korea-harmony-music-in-prison.html " save, kemudian coba h**p://BLOGSAYA.com/2013/07/film-korea-harmony-music-in.html

 

ncang wrote:

Nah, permasalahan justru muncul di situ. Ketika saya perbaiki dengan cara seperti itu, muncul lagi url lain yang juga eror. Punya saya bahkan punya redirect hampir 11, dan tiap hari bertambah satu. Agak janggal memang.

 

belum pernah sampai muncul

belum pernah sampai muncul error baru berkali2, kecuali dari posting yang dihapus dan ada backlink, bisa juga memang di sengaja di pindahkan atau mungkin karena custum url , coba biar segar dulu resubmit sitemapnya,, pancing juga dengan posting artikel fresh..

 

Permasalahan kita sama

Masalah kita sama sob , saya lagi disibukan dengan robot.txt , saya mengalami hal tersebut setelah mengecek blog saya di www.seoanalyser.net , dan alhasil ada warning yang menyatakan bahwa robot.txt saya error / not found , gimana tuh caranya ya ??

 

AhmadManarul wrote:

nggak ada cara lain untuk mengetahuinya, selain melakukan trial and error. saya juga sedang mencoba cara dari trikmudahseo dan mas-sugeng. coba googling dengan kata kunci, "cara mengatasi duplikat konten di blogspot". semoga mengetahuinya ^^, saya baru menjajal kemarin. katanya, perubahan terjadi 1-2 hari kemudian. tapi bisa lebih juga. entahlah...