ASK - Kode Robot.txt yang benar di WP

assalamualaikum, mau nanya ni h para master , robot.txt yang paling disarankan di pake untuk SEO WP tu yang gmna ya ??? saya pake model ini

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://www.postku.com/sitemap.xml

dan hasil nya di fecth as google mucul warning macam nih ,. sudah benar kah setting robot.txt saya master ??? akhir kahir ni jadi susah diindex

 

Kalau saya mah pasrah aja sama bawaan wp den, gak pernah nyeting2 robot , ngerii takut gak keindex soalnya gak paham sama kode-kodean

 

Jika takut untuk optimasi, serahkan saja ke google ( default ).
Kalau untuk website saya, saya lebih suka menggunakan format seperti ini :

User-agent: *
Disallow: /cgi_bin/
Disallow: /config/
Disallow: /images/
Disallow: /iwmsystem/
Disallow: /js/
Disallow: /private/
Disallow: /templates/
Disallow: /userfiles/
Disallow: /vti_bin/
Disallow: /vti_cnf/
Disallow: /vti_log/
Disallow: /vti_pvt/
Disallow: /vti_txt/
Disallow: /adminzone/
Allow:/
User-agent: Googlebot
Disallow: /search
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://www.plasastore.com/sitemap.xml

Jika anda menggunakan platform wordpress atau lainnya, lebih baik gunakan juga plugin google sitemap generator, supaya dapat submit secara otomatis

 

User agent cukup pake default aja, itu dah mencakup semua, pake tanda * aja udh semua masuk, /wp-content/ jangan di disallow karena ada konten img

 

wp-content jangan di blok den

 

Kalau mau lebih spesifik aja misal /wp-contents/plugins

~Cogito Ergo Sum~

 

makasih semua masukannya , saya sekarang ganti pake ini bawaan wp saya atau dari plugin all in one seo pack versi gratisam
, bener lum ya ????
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /xmlrpc.php

 

Defaultnya sudah bagus... kalau saya suka ditambah wp-contents/plugins

~Cogito Ergo Sum~

 

Sebenarnya bawaan wp udah seo bgt, namun karena belum puas dengan bawaan tersebut mungkin akan melakukan perubahan. Tapi perubahan tersebut setidaknya menemui hasil yg lebih baik daripada sebelumnya.
Terima kasih

 

ok gansss terimakasih

 

Saya malah ekstrim lagi, cuma artikel dan page saja yang boleh dirayapi. Jadinya indeks sedikit tapi yang pokok-pokok saja

 

terlihat dr setting robot, ts tidak maen adsense...
karena google minta, js harus bisa di gerayangani...hehheheh

 

aduh gan setelah pake settingan ini tampilan google search di HP android web saya jadi gak ada label Mobile Friendly nya nih , pake ini >>>>
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /xmlrpc.php

biar mobile frendly di kasih tambahan gmn ya

 

terimakasih referensinya, tadinya saya iseng baca2 thread. akhirnya buka cpanel juga

Nah kalo gitu nyarinya dari mana kang andre? maksudnya, dapet ide seperti itu dari mana?

 

Main logika saja. Di SERP hasil terbanyak adalah artikel dan itu yang dicari orang, kemudian page. Jarang orang yg cari tag, arsip atau kategori apalagi js.

 

Klu maen adsense, di minta sama google boss

 

User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
Perlu diketahui: robot.txt bukan hanya untuk bot google

 

ooh gituuu, thanks fyi

 

Kalau misal bukan wp, disesuain sama nama folder berarti ya gan?

 

Yg benar adalah sesuai kebutuhan masing2 pemilik website.