Mungkin
sobat sudah sering mendengar istilah robots.txt. Apa sih robots.txt itu? apakah
perlu di setting? bagaimana kalau saya biarkan saja? mungkin masih banyak
pertanyaan lain.
Disini saya akan sedikit berbagi mengenai apa itu Robot.txt pada blog. Karena berhubung masih banyak teman- teman saya yang masih penasaran apa itu Robot.txt dan fungsi dari Robot.txt itu sendiri, berikut sedikit pemaparannya. J
Apa itu robots.txt?
Robots.txt adalah
perintah bagi robot mesin pencari untuk menelusuri atau tidak menelusuri
halaman pada blog kita. Boleh dikatakan robots.txt adalah
filter blog kita dari mesin pencari.
Apakah setiap blog mempunyai robots.txt?
Ya, semua blog sudah
mempunyai robots.txt yang diberikan oleh blogger. Secara default robots.txt
pada blog seperti ini :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
Untuk melihat robots.txt default, silahkan ketik dibrowser http://namablogsobat.blogspot.com/robots.txt
Apa arti dari kode-kode di atas?
User-agent: Mediapartners-Google
Robot Google Adsense merayapi blog
Disallow:
Yang tidak diperbolehkan tidak ada
User-agent: *
Semua robot Search Engine / mesin pencari
Disallow: /search
Tidak diperbolehkan merayapi folder search dan setrusnya, seperti ..../search/label dan ... search/search?updated...
Allow: /
Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
sitemap atau alamat feed blog kita.
Robot Google Adsense merayapi blog
Disallow:
Yang tidak diperbolehkan tidak ada
User-agent: *
Semua robot Search Engine / mesin pencari
Disallow: /search
Tidak diperbolehkan merayapi folder search dan setrusnya, seperti ..../search/label dan ... search/search?updated...
Allow: /
Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
sitemap atau alamat feed blog kita.
Kenapa label tidak dimasukan ke pencarian?
Dengan
penulisan kode default Disallow: /search, artinya perayapan untuk
label seperti alamat http://namablog.com/search/label/Tutorial, nantinya tidak
akan dirayapi oleh mesin pencari karena Label bukan URL yang real menuju satu
halaman tertentu.
Bagaimana cara mencegah robot pada halaman tertentu?
Untuk mencegah google
merayapi halaman tertentu di blog sobat, katakan sobat tidak ingin halaman
about me diindex oleh mesin pencari. Untuk URL about me pada blog sobat misal :
http://namablogsobat.blogspot.com/p/about.htmlMaka untuk robots.txt, silahkan copy kode defaut di atas, tambahakan halaman yang tidak diperbolehkan, hasilnya seperti ini :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/about.html
Allow: /
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/about.html
Allow: /
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
Dimana cara edit robots.txt?
Untuk
menambahkan atau editing robots.txt, masuk ke Setelan > Preferensi
Penelusuran, pada Robots.txt klik Edit kemudian klikYa,
kemudian tulis kode robots.txt yang diinginkan > Simpan Perubahan
Saya tidak pernah utak atik robots.txt, bagaimana?
Tidak
apa-apa, blog sobat tetap akan dirayapi oleh robot-robot mesin pencari karena
seperti saya sebutkan sebelumnya, setiap blog sudah mempunya robots.txt
default.
Namun,
hati- hati dengan penggunaan robot.txt, apabila salah penulisan bisa jadi blog
sobat malah diabaikan oleh mesin pencari atau search engine google dan lainnya.
Jadi
bagaimana? Sobat tertarik mengotak- atik robot.txt blog sobat??
Selamat mencoba dan semoga
bermanfaat.
0 comments:
Post a Comment