Cara Setting Robots.txt di Blogger / Blogspot
Untuk lebih memahami pengertian dan cara kerja robots.txt, supaya lebih difahami, akan saya buat soal jawab seperti pada artikel Seputar Algoritma Hummingbird.
Apa itu robots.txt?
Robots.txt adalah perintah bagi robot mesin pencari untuk menelusuri atau tidak menelusuri halaman pada blog kita. Boleh dikatakan robots.txt adalah filter blog kita dari mesin pencari.Apakah setiap blog mempunyai robots.txt?
Ya, semua blog sudah mempunyai robots.txt yang diberikan oleh blogger. Secara default robots.txt pada blog seperti ini :User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATEDApa arti dari kode-kode di atas?
User-agent: Mediapartners-GoogleRobot Google Adsense merayapi blog
Disallow:
Yang tidak diperbolehkan tidak ada
User-agent: *
Semua robot Search Engine / mesin pencari
Disallow: /search
Tidak diperbolehkan merayapi folder search dan setrusnya, seperti ..../search/label dan ... search/search?updated...
Allow: /
Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
sitemap atau alamat feed blog kita.
Kenapa label tidak dimasukan ke pencarian?
Dengan penulisan kode default Disallow: /search, artinya perayapan untuk label seperti alamat http://namablog.com/search/label/Tutorial, nantinya tidak akan dirayapi oleh mesin pencari karena Label bukan URL yang real menuju satu halaman tertentu.Bagaimana cara mencegah robot pada halaman tertentu?
Untuk mencegah google merayapi halaman tertentu di blog sobat, katakan sobat tidak ingin halaman about me diindex oleh mesin pencari. Untuk URL about me pada blog sobat misal : http://namablogsobat.blogspot.com/p/about.htmlMaka untuk robots.txt, silahkan copy kode defaut di atas, tambahakan halaman yang tidak diperbolehkan, hasilnya seperti ini :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/about.html
Allow: /
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATEDDimana cara edit robots.txt?
Untuk menambahkan atau editing robots.txt, masuk ke Setelan > Preferensi Penelusuran, pada Robots.txt klik Edit kemudian klik Ya, kemudian tulis kode robots.txt yang diinginkan > Simpan PerubahanSaya tidak pernah utak atik robots.txt, bagaimana?
Tidak apa-apa, blog sobat tetap akan dirayapi oleh robot-robot mesin pencari karena seperti saya sebutkan sebelumnya, setiap blog sudah mempunya robots.txt default.
Hati2 dengan penggunaan robots.txt, apabila salah penulisan bisa jadi blog sobat diabaikan oleh mesin pencari.
179 komentar
2. Tinggalkan komentar sesuai topik tulisan
3. Apabila ada pertanyaan diluar artikel silahkan kunjungi Ruang Obrolan.
4. Centang Beri tahu saya untuk mendapatkan notifikasi via Email ketika ada balasan
5. Untuk menghapus komentar, geser kursor ke sebelah kanan komentar Anda.
image quote pre code
jangan lupa mampirya gan....http://medanlapasilla.blogspot.com/
ane dah mulai masukin tag diatas di scritp.. moga moga bisa page one
1. misalnya saya ingin memblokir link2 ini :
/2014/02/&target=facebook
/2013/03/&target=email
/2012/01/&target=buzz
salah tidak kalau di robot.txt saya tulis
Disallow: /*/*/&target=
2. salah tidak untuk memblokir semua page saya tulis
Disallow: /p
Kalau salah bagaimana yang benarnya?
Terima kasih
1.bagaimana jika kita biarkan saja custom robot txt apa ada pengaruhnya.
2.jika kita melakukan perubahan pada custom dan tajuk robot apakah masih perlu melakukan pengeditan tag html templatenya.
3.seberapa pengaruh terhadapat terjadinya duplicate2 yg sering terjadi pada penyempurnaan html...
terimakasih sebelumnya dn maaf atas ketidak tahuan saya
http://bukawww.blogspot.com/
saya kan daftar sitemap di webmaster tools cuma bukan pake sitemap.xml tp atom.xml karena blognya udah pake domain TLD.
Nah disitu jumlah yang terindeks dan terkirim berbeda.
Terkirim 107 terindex cuma 10. Gmn solusinya biar sama.
:)
mampir juga di http://takgawekonteswae.blogspot.com untuk sekedar berkomen di blog pertama saya..hehehe baru belajar
http://gayakitakan.blogspot.com/
kyanya kok sma aja ya,g begitu ngaruh..
http://papaparpat78.blogspot.com
http://kebal-online.blogspot.com
http://kecantikan-alatbantusexsurabaya.blogspot.com/
nambah tali silaturahmi www.aslipermata.com
lantas setinganya harus gmn ya bang agar bisa toko online saya bisa terdeteck oleh google
visite : www.herigrosir.com
check kang blog simkuring www.muizcyan.co.vu
mari mampir blog sy
skr sy mau nanya aja , kan itu ada 3 poin / 3 kode
nha.. ketika itu masing2 cara membuatny agmna... krn setingan asli bloger itu di nonaktifkan,,, jd klo bru di aktifkan robot,txt masih kosong ... tolng beri pnjlsan yg detil n akurat mksih
carana agar halaman posting,label,arsip dll blog tidak di index mesin telusur? tapi pada alamat webnya bisa di index mesin telusur?
jadi kalau ngetik di gugel site:namablog.blogspot.com
ntar hanya menampilkan index alamat blognya saja "namablog.blogspot.com", dan tidak menampilkan halaman posting,label,arsip dll yg ada di blog tersebut?
kira-kira perintahnya gimana kang?
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Menurut sumber itu untuk mencegah duplikat konten pada mobile.
Menurut kang ismet, ini berbahaya gak? saran kang ismet saya tetap menggunakan ini apa mendingan default aja.
kalo robots.txt yang akan kaya gimana ?
saya akan menanyakan tentang kerja ngeblog yang baik hhh
Terima kasih artikel nya Kang Ismet
Selamat Idul Adha 1434 H :)
- salam damai -
Tapi ada sedikit yang tanyakan mengenai masalah label yang tidak diarayapi oleh mesin pencari kang (emangnya kayu pake dirayapin segala) :D kebetulan link kategori atau label ini saya letakkan di navigasi menu. Ternyata ada yg janggal ketika saya coba search link url artikel di blog saya yakni kategori / label yang di navigasi menu tersebut ikut muncul di mesin pencari (rich snipped) contohnya :
http://1.bp.blogspot.com/-0BUBBDFB3cE/Ulwubp3nOzI/AAAAAAAABq0/JTck2F2ap1w/s1600/Untitled.png
Untuk saat ini sudah saya coba tambahkan atribut rel="nofollow" pada struktur link di nav menu saya niatnya biar ga kedetek mesin pencari. Pertanyaan saya, Apakah yang saya lakukan sudah bener atau barangkali mas ismet punya solusi lain?
Sukses terus untuk akang Ismet.
Kesalahan: Missing required hCard "author" saya sudah pake cara di blog agan masih gak berhasil tau gak caranya? saya cari digoogle juga gak bisa,,,plis gan bantu yg sesuai dengan blog syaa : www.bmaster23.blogspot.com ,,,makasih gan!
<a class='timestamp-link' expr:href='data:post.url' rel='bookmark' title='permanent link'><abbr class='published' expr:title='data:post.timestampISO8601'><data:post.timestamp/></abbr></a>
Kalau gak salah kode seperti di atas ada 2 ganti semua dengan kode di bawah ini
<a class='updated' expr:href='data:post.url' rel='bookmark' title='permanent link'><abbr class='updated' expr:title='data:post.timestampISO8601'><data:post.timestamp/></abbr></a>
[ask] kang gimana buat widget kayak gambar dibawah ini ?
http://i.imgur.com/C5KzDKl.png
hehehe mampir juga ya ke gubuk sederhana sya http://www.muamar-kurosaki.com/
Wilujeng boboran ah... salam oge kanggo keluarga kang....
Hehe gara-gara kemarin OFF beberapa hari, blog saya langsung banyak Error di WMT, dan Index di Google juga berubah :D
http://duniagame7.blogspot.com/
- absen dulu -
damai!
masih proses belajar terus ni tentang optimasi blog dari kang ismet.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Sitemap: http://edynlaskar09.blogspot.com/feeds/posts/default?orderby=updated
[ask] kok url sitemap masih ada embel-2 blogspotnya yah,,,?? kira-2 klo dirubah,, akan bermasalah gak kang ???
setelah baca ini sekarang ane lebih paham...
makasih kang udah berbagi :D
- selamat idul adha 1434 H -
salam damai!
jangan lupa tentang "Tag tajuk robot khusus" dibahas jg ya kang :)
https://lh3.googleusercontent.com/-vwCRG8PtTHc/Ult5X9WAkxI/AAAAAAAAHkI/pZih1Dm1o0o/s710/Tag-Tajuk-Robot-Khusus.jpeg
Kang saya mau tanya, blog saya kan masih baru. postinganya aja baru 50. Tapi kesalahan perayapanya ada ratusan url, Semuanya belum pernah saya posting,tp terindek.
Screenshot:
https://lh4.googleusercontent.com/-cNHttU_IBio/Uls5l1U0iII/AAAAAAAAB2Q/jJdjiF-Wzq4/w1044-h502-no/Kesalahan+perayapan.png
Mungkin Kang Ismet bisa membuat simpel caranya
1. Kalo sitemap pakai: namablog.blogspot.com/sitemap.xml gimana?
2. post diatas kan soal robots.txt khusus, terus gimana sama Tag tajuk robot khusus?
File robots.txt paling sederhana menggunakan dua aturan:
User-agent: robot yang diterapkan dengan aturan sbb :
Mediapartners-Google
Googlebot
Googlebot-Mobile
Googlebot-Image
Adsbot-Google
Disallow: URL yang ingin Anda blokir
Setiap bagian di file robots.txt terpisah dan tidak disusun dari bagian sebelumnya. Misalnya:
User-Agent: Googlebot
Disallow: /file/
User-agent: *
Disallow: /search
Pada contoh diatas hanya URL dengan /file/ yang tidak akan diizinkan oleh Googlebot, yang kedua semua halaman diizinkan/ditelusuri oleh mesin pencari , kecuali untuk perayapan label karena ada penambahan fungsi /search .perlu diketahui, tanpa penambahan fungsi /allow dikarenakan fungsi User-agent: * atau dengan penambahan tanda bintang itu mengintruksikan seluruh halaman untuk dapat ditelusuri robot
CONTOH
Untuk memblokir seluruh situs
Disallow: /
Untuk memblokir direktori dan segala yang ada di dalamnya
Disallow: /junk-directory/
Untuk memblokir halaman tertentu
Disallow: /private_file.html
…
btw yang tag tajuk robot khusus apa kang ??