Juni 23, 2014

Cara Setting Robot.txt Blogger Terbaru

Cara Setting Robot.txt Blogger Terbaru - Setting robot.txt blogger ini digunakan untuk mengatur halaman mana saja yang diijinkan untuk ditelusuri/di-index oleh google bot. Pada umumnya platform blogger telah mempunyai default robot.txt, hanya saja perlu penambahan untuk mengoptimalkan kinerja blog kita. Hal tersebut dikarena setiap halaman suatu blog berbeda-beda, sehingga kita harus menambahkan beberapa code untuk mem-filter google bot agar tidak menelusuri halaman yang tidak penting atau halaman non public. Sedikit berbeda dengan robot header tags, robot.txt ini lebih dikhususkan untuk filterisasi content, dan robot header tags lebih dikhususkan untuk link filter link. Silakan baca artikel tentang "costum robot tag header blogger terbaik" untuk mengetahui perbedaan keduanya.

Cara Setting Robot.txt Blogger Terbaru

Apa robots.txt itu?

Pada umumnya Robots.txt adalah sebuah text file yang berisi perintah untuk robot penelusur (ex: googlebot, mediapatrner, bingbot, dll) untuk menelusuri atau tidak menelusuri halaman pada sebuah blog.


User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://nama-blog/feeds/posts/default?orderby=UPDATED

Keterangan kode robot.txt diatas
  1. User-agent: Mediapartners-Google
    Kode ini berfungsi digunakan untuk mengijinkan / tidak mengijinkan adsense bot merayapi situs anda.
  2. User-agent: *
    Kode ini berfungsi digunakan untuk mengijinkan / tidak mengijinkan semua robot mesin pencarian merayapi situs anda.
  3. Disallow:  *
    Kode ini adalah kode yang berfungsi untuk tidak mengijinkan robot merayapi halaman situs anda.
  4. Allow:/
    Kode ini adalah kode yang berfungsi untuk mengijinkan robot merayapi halaman situs anda.
  5. Sitemap:
    Kode ini adalah kode yang berfungsi untuk memberitahukan Acuan Peta Situs/Sitemap valid telah terdeteksi blog kita ke googlebot

Apakah setiap blog mempunyai robots.txt?

Pada umumnya setiap blog/situs mempunyai robot.txt. Pada Platform blog yang menggunakan self hosting, robot.txt ini bisanya hanya sebuah text file yang kita upload untuk kepentingan filter search engine, Akan tetapi pada platform blogger robot.txt sudah terdapat dalam menu dashboard sehingga setting bisa dilakukan dengan lebih mudah.

Apakah ada hubungan robot.txt dengan SEO?

Ketika webcrawler datang untuk merayapi blog kita, webcrawler akan merayapi semua konten di blog kita untuk mencari informasi apa saja yang akan ditampilkan pada mesin pencarinya. Robot.txt ini dibuat untuk memfilter/memblokir halaman - halaman yang tidak seharusnya dirayapi oleh mesin pencari. Dengan begitu kinerja situs kita bisa lebih optimal pada mesin pencarian.

Apa saja manfaat dan kegunaan robot.txt?

Robot.txt sangat banyak manfaatnya, berikut manfaat dan kegunaan robot.txt :
  • Memblokir halaman - halaman duplikat, halaman low content, dan halaman error 404. Dengan begitu situs/blog kita akan dinilai sebagai halaman high content oleh mesin pencari. 
  • Membantu untuk penghapusan halaman error, kesalahan perayapan pada webmaster tools.
  • Memblokir konten yang tidak layak untuk iklan adsense
  • Memblokir gambar yang tidak layak untuk ditayangkan pada mesin pencarian gambar.
  • dll

Bagaimana Cara Setting Robot.txt Blogger Terbaru?

Berikut cara setting robot.txt pada Dashboard blogger :

Bahasa Indonesia
Setelan > Preferensi Penelusuran > Perayap dan pengindeksan > pada menu Robots.txt silahkan klik Edit dan setting sesuai dengan preferensi yang diinginkan, kemudian klik Ya, kemudian tulis kode robots.txt yang diinginkan > Simpan Perubahan

English
Setting > Search preferences > Crawlers and indexing > Click "edit" on the menu robots.txt and adjust as needed > Save

Cara Setting Robot.txt Blogger Terbaru
Cara Setting Robot.txt Blogger Terbaru


Sekian artikel saya tentang cara setting robot.txt blogger terbaru. Untuk contoh - contoh kode dan cara penggunaan robot.txt ini silahkan ikuti artikel saya dibawah ini.

4 comments » Cara Setting Robot.txt Blogger Terbaru

ohh begitu, bisa juga berguna agar artikel kita cepat trindex google?

Balas

yup, jika authority sebuah blog dan penulis sudah memiliki reputasi bisa sangat cepat, selain itu dengan ping juga akan mempercepat indeks

Balas

mantap gan.. iji mraktekinn

Balas

Trimakasih infonya mba.. sngt brmnfaat buat pemula sprti sy..
kalu ada wktu kunbal ya mba.

Balas

Mohon maaf komentar pada blog ini kami moderasi dan tidak akan langsung ditampilkan. Silahkan berikan komentar sesuai judul dan isi artikel. Komentar yang mengandung link aktif / live link, iklan, pornografi, dan semacamnya akan dihapus atau kami masukan pada kategori SPAM.

Catatan :
1. Untuk menyisipkan kode gunakan  <i rel="code">kode yang akan disisipkan</i>
2. Untuk menyisipkan kode panjang gunakan <i rel="pre">kode yang akan disisipkan</i>
3. Untuk menyisipkan quote gunakan <b rel="quote">catatan anda</b>
4. Untuk menyisipkan gambar gunakan <i rel="image">URL gambar</i>
5. Untuk menyisipkan video gunakan <i rel="youtube">URL Video youtube</i>

Keterangan :
Gunakan HTML konverter sebelum menyisipkan kode.
Contoh link image : http://blablabla.com/image.jpg.

Profile yang mengandung broken link akan dihapus tanpa pemberitahuan terlebih dahulu.
Konversi Kode

Top