[ask] Cara setting robots.txt?

Selamat Malam semua,

Saya mau tanya sedikit, mudah-mudahan dapat jawaban yang banyak
bagaimana ya cara setting robots.txt

supaya robots.txt tersembunyi dari pengunjung tetapi bot dari search engine masih bisa membacanya

maksud saya: robots.txt hanya untuk bot search engine aja

Terima Kasih untuk bantuannya

 

Saya malah gak pernah seting karena gak tau caranya kalau salah seting bisa berpengaruh katanya ,begitupun kalo benar.. haha

 

Ini buat setting robot.txt khusus blogger bang: https://www.danlogs.com/2013/08/cara-setting-robotstxt-di-blogger

 

Setting robot.txt.. saya pernah sih, tp ndak tau bagusnya gimana...
Soalnya dulu pernah salah nyebut, ndak diindeks SE tertentu (lupa namanya)...

Kok bisa tau mas?
Lha abis nglepas robot.txt itu, ada SE "asing" yang banyak ngerujuk ke blog saya..

 

jangan buat atau hapus robot.txt, robot akan tetap meng-crawl

Robot.txt diperlukan sebagai aturan bagi robot biar gak main selonong saja, namun ada juga robot yang "nakal" meskipun ada robot.txt tetap main serobot.

 

ngak bisa di hide ya @KangAndre ?
artinya robots.txt nya ada tetapi pengunjung tidak bisa lihat

saya pasang kode seperti ini di .hattacces

Code:

<Files robots.txt>
order allow,deny
deny from all
</Files>

ternyata di google webmaster dianggap tidak ada robots.txt

 

Tidak disarankan membuat batasan robots di .htaccess.
Alasannya:
.htaccess digunakan untuk akses internal , sedangkan robots.txt untuk akses eksternal .

"Internal" karena .htaccess bertugas untuk memberitahu server (Apache) bagaimana menangani nama halaman dan file, URL dan cara pengguna untuk mengakses sumber daya ini( untuk menangani fitur-fitur situs sendiri). Salah pengisian situs bisa error.

Sedangkan Robots.txt, sebaliknya mengatur akses "eksternal", karena ini memberi tahu mesin pencari dan alat web lainnya yang harus dibaca dan yang boleh diindeks. Jika salah, hanya berakibat tidak terindeks saja, tapi situs tetap berjalan.

Sudah ada ketentuan bahwa robots.tst dapat dibaca manusia (pengguna) dan robot.

ziuma.com/robots.txt terbaca, coba hapus yang di .htaccess dan uji kembali via webmaster tools.

 

sepertinya ada hal yang penting nih di robots.txt punya ts

 

Semua situs bisa dilihat robots.txt-nya
namadomain.com/robots.txt dan nggak ada rahasia penting

 

ada yang keren juga isinya,

Code:

https://www.nike.com/robots.txt
https://www.google.com/killer-robots.txt

ini barusan screenshot, gak pake

 

ada logo nike dibawahnya
keren keren

 

Tapi jarang orang lihat robots.txt (paling iseng saja)

 

di biarkan saja di setelan default.,. yh.,

 

ijin nyimak, ane juga kurang mngerti tentang robott

 

Mendingan jangan di hapus Gan.....menurut saya

 

ikutan nyimak gan biar semakin pintar dan bertambah ilmu lagi

 

tanya bawah ane mungkin paham

 

bawah yang mana mba @Nina Ayunine

 

ijin nyimak gan, sy juga msh belum ngerti