Apa itu Robots.txt? dan bagaimana Optimasi nya?

​

Mungkin untuk sebagian orang, Robots.txt menjadi salah satu hal yang penting untuk Website atau Blog mereka. Dimana Robots.txt ini memiliki peran untuk Indexing dan juga Crawling dan juga Indexing.

Sebagian dari kita sudah banyak sekali menemukan para Blogger yang membagikan Custom Robots.txt untuk meng-Optimasi Website mereka masing masing. Hal ini tentu menjadi salah satu hal yang membantu para Blogger lainnya untuk meningkatkan tingkat Indexing mereka.

Apa itu Robots.txt
Singkatnya, Robots.txt adalah sebuah file dengan format .txt yang wajib dimiliki tiap situs yang terdaftar pada mensin pencarian (google, yahoo, dan bing).

Jadi, Robots.txt ini memiliki peran penting dan berhubungan erat dengan SEO. Sebab, Robots.txt yang nantinya kita pasang atau kita Optimasi, akan berperan untuk mengontrol, atau juga mengatur halaman atau url mana, yang akan diindex mesin pencari.

Cara Kerja Robots.txt
Ketika sebuah Website yang memiliki domain TLD seperti (.com) maka secara otomatis, kalian memberikan izin kepada Robot perayap milik mesin pencari (google) untuk merayapi (meng-crawl) seluruh halaman web (.com) kalian. Dan ketika Robot perayap mencoba untuk meng-Crawl situs kalian. Robot Perayap tersebut akan pertama kali merayapi Robots.txt yang sudah kalian Optimasi.

Intinya adalah : Robot Perayap milik Mesin Pencarian tidak akan mengerti dengan Artikel yang kalian tulis. Melainkan ia akan membaca Robots.txt yang kalian Optimasi. Dan Robot Perayapan tidak akan merayapi Situs kalian apabila didalam Robots.txt yang kalian pasang, tidak memberikan izin kepada Robot Perayapan untuk meng-Crawl Situs/Website kalian.

Gambaran Mudah tentang bagaimana Robots.txt bekerja




Sebenarnya, pada tiap-tiap Website/Situs dan juga Blog, masing-masing memiliki Robots.txt yang bisa mereka Aplikasikan di tiap-tiap Platfrom nya. Namun untuk Blog yang di host oleh Blogger, mereka sudah memiliki Struktor Robots.txt default yang sudah diatur oleh Google sendiri.

Contoh Robots.txt Default

Code:

User-agent: Mediapartners-Google

disallow:

User-agent: *

disallow: /search

allow: /

sitemap: http://blogURL/feed/posts/default?orderby=UPDATED

Penjelasan dari Struktur Robots.txt diatas :

• "User-agent: Mediapartners-Google" : ini memiliki maksud, jika kode ini hanya berlaku untuk Bot Crawler/Robot Perayap Media Partners-Google.
  Dan Media Partners-Google ini adalah Bot Crawler/Robot Perayap untuk Google Adsense.
• "Disallow:" : kode ini berfungsi untuk tidak memberikan batasan halaman atau page rayapan oleh Robot Perayap. Dengan maksud lain, Disallow memungkinkan Bot Crawler untuk merayapi semua halaman yang ada di Situs/Web kalian.
• "User-Agent: *" : kode ini memiliki perintah untuk semua Bot Crawler untuk Merayapi Situs/Web kalian.
• "Disallow: /search" : kode ini bermaksud untuk melarang Bot Crawler untuk merayapi semua url yang memiliki awalan /search sebagai contoh (situskalian.com/search).
• "Allow: /" : kode ini memberikan perintah untuk meng-crawl atau merayapi semua halaman url kalian (kecuali yang ada di perintah disallow) contohnya, Robot Perayapan akan meng-Crawl pada url (situskalian.com/meta-slug-kalian.html)
• "Sitemap:" : kode ini akan memberikan perintah, untuk Bot Crawler untuk merayapi semua link yang ada di Sitemap kalian.

Jadi, Sitemap ini juga penting untuk di submit di Webmaster masing-masing (Google Webmaster, Bing Webmaster, dan Yahoo Webmaster).

Optimasi Robots.txt
Jika kalian sudah paham dengan struktur kode Robots.txt yang ada diatas tadi, kini saatnya kita mematahkan aturan atau meng-Optimasi Robots.txt default Google untuk lebih baik lagi dalam hal perayapan Situs.

Perhatikan Kode dibawah ini :

User-agent: Mediapartners-Google
disallow:

Kode ini memang berfungsi untuk memberikan perintah kepada Bot Mediapartners-Google untuk merayapi situs kalian. Namun jika blog kalian sedang mendaftar Google Adsense, hapus kode tersebut dan sisakan bagian dibawahnya.

Berikut adalah contoh Robots.txt yang saya gunakan.

User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Allow: /?m=1
Allow: /*?m=1

User-agent: *
Disallow: /search

Sitemap: namadomainwebkalian.com/feeds/posts/default?orderby=UPDATED

Dari kode Robots.txt yang saya gunakan diatas, saya sudah merobak struktural kode Robots.txt default dari Blogger itu sendiri.

Dan Robots.txt yang saya gunakan berguna untuk :

• Mengizinkan Robot Perayapan untuk meng-index url dalam versi Desktop dan juga Mobile.
• Tidak Memblokir url Situs kalian dalam versi Mobile.
• Memberikan izin pada Robot Crawler untuk meng-Crawl kode Aadsense kalian (ini berguna untuk kalian yang sedang mendaftar Adsense).
• Memudahkan Artikel yang di Publish agar mudah ter-index (tentunya dengan tambahan Verifikasi Google Webmaster, Fetch as google, dan yang lain-lainnya).
  

Kesimpulan

Untuk masalah Optimasi Robots.txt, kalian bisa menggunakan Robots.txt yang saya gunakan untuk mengoptimasi website/blog kalian.

Selain meng-Optimasi Robots.txt, kalian juga perlu melakukan Optimasi pada Google Webmaster, Submit Sitemap, dan melakukan SEO Onpage dan juga Offpage. Optimasi Robots.txt yang saya bahas diatas tadi hanya sebagian kecil dari beberapa cara memaksimalkan SEO di Blog kalian.

 

Pelajaran yang penting buat para blogger atau pemilik situs ini supaya websitenya masuk index pencarian
masangnya di mana itu ya kode robot.txt apa tinggal di copy paste di sembarang tempat saja atau ada tempat khusus

 

thank you gan, ane jadi ada tambahan ilmu lagi soal SEO dimari, hore bersosial kembali rame lagi banyak thread-thread bagusssssss

 

Iya nih, bersosial makin kesini makin bagus aj..semoga rame terus dan makin banyak konten yang bermanfaat, sehingga benar2 bisa menjadi forum yang berfaedah sangat

 

Menarik, ternyata robots . txt juga perlu di optimasi.

 

Penting banget untuk memperhatikan robots.txt, karena dengan cara ini website kita akan lebih mudah di rayapi dan di cintai oleh Google

Bener bangat ini cuma sebagian kecil dari tekhnik SEO yang di gunakan...

Kalau bisa gan untuk tekhnik yang lainnya di share juga disini biar lebih lengkap.... apalagi kalau selalu berhubungan dengan postingan ini...

 

ane dalam 1 hosting ada 2 website buat 2 brand yang berbeda, ini kalo mau pasang robot txt nya cukup 1 di home folder atau 2 di tiap folder website ya gan ?

 

Mantap ikut belajar

 

wah terima kasih kak @teknolime atas threadnya

padahal udah sering sekilas baca tulisan "robot.txt" gak taunya itu penting yak untuk seo

 

Manfaat daging nya, terima kasih suhu.

 

Maaf.. agan agan semua kalau saya salah... tapi saya pernah baca di postingan lain katanya pengaturan robot.txt seperti diatas justru mengakibatkan penurunan visitor. Lha.. yang bener yang mana ya? Saya kok jadi bingung...

Mohon tanggapan bagi yang sudah praktek selama 2 bulan. Bagaimana hasinya?

 

Simak dulu gan tp saya juga ada file robot txt gitu di directory, biarpun saya gatau maksud dan kegunaannya, cuman yang saya baca supaya google bisa mencari web kita aja, yaudah waktu liat artikel tentang itu langsung bikin dan upload

 

oke gini gan biar ane luruskan yang bengkok ya ..
sebetulnya pengaturan robots.txt itu macam macam. agan bisa cek untuk robots txt yang ane kasih, di webmaster di bagian penguji robots.txt
terus coba ente masukkin robots.txt ane, dan isi link nya di penguji. apakah tulisan nya semua diizinkan, atau ada yang di block? jika semuanya diizinkan, berarti Robot perayap tipe apapun akan bisa meng-index artikel kita gan. urusan visitor mah gimana promosi dan juga kata kunci yang ditulis. sebab kalau kita sudah mendapatkan indexing yang bagus, dan kata kunci yang kita tulis itu sedang hot dipencarian, insyaallah pasti bakal tembus.

 

di yoast saya cekk omm tp gx ada setting buat robot txt ini...
di web site ke dua saya terya ada .,., untuk setting tersebut.,.
itu gimana om

 

efek samping salah setting robot.txt ini bagaimana bosss

 

Yoast? Agan pake wordpress ya? Maaf nih, sebelumnya ane share ini untuk blogger gan. Kalau wp kurang faham

 

Kan sudah dijabarkan di posting diatas. Setiap kode ada fungsi dan perintahnya

 

di wordpress udh ada gan settingan yg mau dirayapi atau ga sama mesin pencari

 

di Yoast ada setingannya ga gan?

 

mungkin yang paham cara setting di wp bisa bikin thread baru biar ga oot