November 03, 2014

Penjelasan Lengkap Robot.txt Blogger Terbaru

Penjelasan Lengkap Robot.txt Blogger Terbaru - File robots.txt adalah sebuat file berekstensi .txt yang menghentikan perangkat lunak perayapan web seperti Googlebot agar tidak merayapi sebuaha halaman tertentu di blog atau website anda. File ini pada dasarnya merupakan sebuah daftar perintah, seperti Allow dan Disallow, yang memberi tahu perayap web tentang URL yang dapat atau tidak dapat dirayapi dan di indeks. Jadi, ketika sebuah URL atau halaman tidak diizinkan dalam robots.txt, maka URL atau halaman dengan perintah disallow pada robot.txt tersebut seluruh kontennya tidak akan muncul di hasil Google Penelusuran.

Apa Kegunaan dan Manfaat Robot.txt?

Robot.txt mempunyai kegunaan yang sangat membantu dalam peng-indeks-an halaman blog kita, hal ini dikarenakan dengan bantuan robot.txt tersebut, kita dapat membuang atau dalam kata lain tidak mengijinkan google untuk merayapi konten2 yang bersifat pribadi atau bahkan tidak bermanfaat untuk kepentingan search. 

Settingan default robot.txt pada blogger.


User-agent: Mediapartners-Google
Disallow: 
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://googleblog.blogspot.com/feeds/posts/default?orderby=UPDATED
User-agent: robot yang diterapkan dengan aturan sebagai berikut :

* : Seluruh robot
Mediapartners-Google : adsense robot
Googlebot : google robot
Googlebot-Mobile : google robot untuk mobile
Googlebot-Image : google robot untuk gambar
Adsbot-Google : google robot untuk adword

Penjelasan+Lengkap+Robot.txt+Blogger+Terbaru-Penjelasan_Lengkap_Robot.txt_Blogger_Terbaru

Pada setiap bagian robots.txt terpisah dan tidak disusun dari bagian sebelumnya. Sehingga pada bagian selanjutnya adalah bagian baru.

Misalnya:


User-Agent: Googlebot
Disallow: /file/
User-agent: *
Disallow: /search

Pada contoh diatas hanya URL dengan /file/ yang tidak akan diizinkan oleh Googlebot, yang kedua semua halaman diizinkan/ditelusuri oleh mesin pencari, kecuali untuk perayapan halaman search, hal tersebut dikarenakan terdapat fungsi /search. perlu diketahui, tanpa penambahan fungsi /allow dikarenakan fungsi User-agent: * atau dengan penambahan tanda bintang itu mengintruksikan seluruh halaman untuk dapat ditelusuri robot


Disallow: /

Untuk memblokir direktori dan segala yang ada di dalamnya


Disallow: /junk-directory/


Untuk memblokir halaman tertentu


Disallow: /private_file.html


Untuk menghapus gambar tertentu dari Google Images


User-agent: Googlebot-Image

Disallow: /images/dogs.jpg


Untuk menghapus semua gambar


User-agent: Googlebot-Image

Disallow: /


Untuk memblokir file dari jenis file tertentu (misalnya, .gif), gunakan parameter berikut:


User-agent: Googlebot

Disallow: /*.gif$


Agar halaman situs Anda tidak ditelusuri, saat masih menampilkan iklan AdSense


User-agent: *

Disallow: /

User-agent: Mediapartners-Google

Allow: /


Untuk menentukan pencocokan akhir URL


Contoh :

gunakan $. Misalnya, untuk memblokir URL diakhiri .xls:


User-agent: Googlebot

Disallow: /*.xls$


Anda juga dapat menggunakan pola pencocokan ini bersama perintah Izinkan.


User-agent: *

Allow: /*?$

Disallow: /*?

artinya sbb :
Perintah Disallow: / *? akan memblokir URL apa pun yang memuat ? perintah akan memblokir URL yang diawali dengan nama domain anda, diikuti beberapa string, diikuti tanda tanya, diikuti beberapa string. Perintah Allow: /*?$ akan mengizinkan URL yang diakhiri dengan ? mengizinkan URL yang dimulai dengan nama domain Anda, diikuti string, diikuti ?, tanpa karakter setelah ? (tanda tanya)
Langkah akhir, lakukan pengujian melaui Webmaster tools - Crawl - Blocked URLs - pilih user agent - klik test. lihat hasil test result nya apakah setting anda sudah benar ( apabila melakukan perubahan robot.txt , perubahan tsb akan terindex 2-3 hari pasca perubahan

2 comments » Penjelasan Lengkap Robot.txt Blogger Terbaru

Rupanya ini Penjelasannya
makasi mas

Balas

ngetes gambar gan, di blog saya gak muncul soalnya

i rel="image">https://pbs.twimg.com/profile_images/554121166516789248/SYaUJpBG.jpeg</i>

Balas

Mohon maaf komentar pada blog ini kami moderasi dan tidak akan langsung ditampilkan. Silahkan berikan komentar sesuai judul dan isi artikel. Komentar yang mengandung link aktif / live link, iklan, pornografi, dan semacamnya akan dihapus atau kami masukan pada kategori SPAM.

Catatan :
1. Untuk menyisipkan kode gunakan  <i rel="code">kode yang akan disisipkan</i>
2. Untuk menyisipkan kode panjang gunakan <i rel="pre">kode yang akan disisipkan</i>
3. Untuk menyisipkan quote gunakan <b rel="quote">catatan anda</b>
4. Untuk menyisipkan gambar gunakan <i rel="image">URL gambar</i>
5. Untuk menyisipkan video gunakan <i rel="youtube">URL Video youtube</i>

Keterangan :
Gunakan HTML konverter sebelum menyisipkan kode.
Contoh link image : http://blablabla.com/image.jpg.

Profile yang mengandung broken link akan dihapus tanpa pemberitahuan terlebih dahulu.
Konversi Kode

Top