Tips Agar Postingan Cepat Terindeks Menggunakan Robots.txt

Mungkin anda belum tahu apa itu robots.txt? Robots.txt adalah filter Blog kita dari mesin pencari. Dengan anda menggunakan robots.txt semua artikel anda dengan mudah akan terindex oleh Search Engine, sehinggan bukan tidak mungkin pengunjung Blog anda akan meningkat. Apakah setiap blog mempunyai robots.txt? Ya, semua blog sudah mempunyai robots.txt yang diberikan oleh blogger. 

Berikut adalah Langkah-langkah Setting Robot.txt:

1. Pertama Login ke Blogger.

2. Lalu Masuk ke Setelan > Preferensi Penelusuran / Search Preferences.

3. Pada Robots.txt klik Edit kemudian klik Ya, kemudian masukan kode robots.txt yang ada dibawah ini:

User-Agent: Mediapartners-Google
Disallow:
User-Agent: *
Disallow: /search
Disallow: /p/about.html
Allow: /
Sitemap: http://ALAMAT.BLOG.blogsot.com/feeds/posts/default?orderby=UPDATED

Catatan: Ganti kode yang berwarna Merah dengan Alamat Blog anda.

Apa Fungsi Dari Kode-Kode di Atas?

User-agent: Mediapartners-Google

Ini adalah Kode yang membantu robot dari Google Adsense untuk beroperasi dengan baik. ini sangat penting jika temen Blogger menggunakan Jasa Adsense.

Disallow:

Yang tidak diperbolehkan tidak ada

User-agent: *

Semua robot Search Engine / mesin pencari

Disallow: /search

Tidak diperbolehkan merayapi folder search dan setrusnya, seperti ..../search/label dan ... search/search?updated...

Allow: /

Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.

Sitemap: http://ALAMAT.BLOG.blogspot.com/feeds/posts/default?orderby=UPDATED

Kode diatas mengarah pada Sitemap Blog. dengan menambahkan Link pada Sitemap, itu akan meningkatkan Rate dari Blog Crawling dan akan memudahkan Web Crawler untuk melakukan Crawl pada semua Postingan. Tetapi kode di atas hanya berlaku untuk 25 Post Terakhir. jika temen blogger ingin menambah jumlah Link di Sitemap. maka ganti Kode di atas Dengan Kode ini :

Sitemap: http://ALAMAT.BLOG.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Kode di atas akan berfungsi untuk 500 Postingan Terakhir.

CATATAN PENTING:

Agar berhati-hati untuk menggunakan mensetting Robot.txt ini, karena jika salah akan mengakibatkan Blog anda yang diabaikan oleh mesin pencari.

Semoga artikel di atas bisa bermanfaat bagi kalian.