Bagaimana cara mengatur robots.txt

Bagaimana cara mengatur robots.txt yang baik buat SEO ya?
Isinya apa saja ya dan maksudnya gimana?
Selama ini di blogspot maupun wp self host robots.txt tidak pernah saya atur, takut ada yang error

Saya menemukan penjelasannya disini tapi belum paham soalnya bahasa luar

http://www.danpros.com/2012/03/setting-up-robotstxt-on-blogger.html

help I can't speak English well

 

Untuk versi bahasa

Untuk versi bahasa Indonesianya bisa kunjungi http://www.danlogs.com/2013/08/cara-setting-robotstxt-di-blogger.html sebenarnya postingan blog Javaner

 

Dan wrote:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://indocezco.blogspot.com/feeds/posts/default?orderby=UPDATED

 

punya saya malah belum saya

punya saya malah belum saya utak utik blas, gara-gara kemaren salah coba-coba seting, eh malah postingan saya ngak nongol-nongol di google

 

Kumpulan para master... saya

Kumpulan para master... saya malah ga ngerti!

 

emang mesti disetting ?

emang mesti disetting ? defaultnya kan udh lumayan

 

gak pernah nyentuh robot.txt

gak pernah nyentuh robot.txt takut slah dan blog langsung ilang dari SERP

 

Kalau di blogspot yang tidak

Kalau di blogspot yang tidak perlu di index itu halaman label terkait dengan Algoritma Google Panda. Tetapi dalam hal ini tidak mengutak-atik robot.txt, melainkan kode html nya. Sumber.

 

masih belum berani ngatur

masih belum berani ngatur robot txt, paling cuma nyentuh Custom robots header tags

 

Caraku seperti ini ....

Caraku seperti ini ....

Logikanya begini :

User-agent: Mediapartners-Google
Disallow:
Memberikan kesempatan kepada Mediapartners-Google untuk mengindeks semua halaman yang ada pada sebuah web/blog

User-agent: *
Disallow: /search
Memberikan batasan kepada semua robot yang lain untuk tidak mengindeks label atau kategori artikel blog.

Allow : /
Tidak aku pasang, karena memang sudah menjadi tugas robot search engine untuk melakukan crawling, jadi tidak perlu diperintah pasti otomatis melakukan crawling.

Sitemap:

Code:

http://Nama blog.blogspot.com/feeds/posts/default?orderby=UPDATED

&max-results=999
Dipasangkan untuk mengatasi kekurangan platform blogger yang hanya mampu menyimpan 26 artikel baru.

Agar lebih maksimal, biasanya setting robot.txt ini dibarengi dengan setting Robot Header Tag.

Bila ada yang salah, mohon dimaafkan.

 

kalau untuk setting robot.txt

kalau untuk setting robot.txt di WP gimana ya, maaf kalau OOT