Ada baiknya Anda semua memahami program yang digunakan Google
untuk melakukan spider dan crawl terhadap sebuah situs, program tersebut
umumnya dikenal dengan BOT, yaitu program yang melakukan crawl sebuah situs
atau halaman situs secara rutin atau sering, tergantung popularitas sebuah
situs. Saya sebagai ADMIN Anda akan berusaha menjelaskan hal tersebut.
Bot Google terbagi di
bagi menjadi 3:
1. Adsense bot
2. FreshBot
3. DeepCrawl Bot
Bot Adsense, dari namanya kita sudah mendapat gambaran
bahwa bot ini mempunyai kaitan dengan Adsense, ia di tugaskan untuk mempelajari
dan akhirnya mengidentifikasi halaman dari situs publisher Adsense melalui
pesan dari Kode Javascript yang terintegrasi di dalam kode Adsense yang kita
letakkan di template, tujuannya agar iklan Adsense yang tampil relevant dengan
niche dan konten blog si publisher.
Freshbot, adalah bot yang paling aktif di antara bot
yang lain, ia secara rutin mengunjungi sebuah blog untuk meng-crawl halaman dan
halaman yang paling popular. Berapapun jumlah halaman blog tersebut. Namun besaran frekuensi
kunjungan Freshbot tidak terlepas dari faktor popularitas sebuah blog/website,
tentu saja semakin popular sebuah web maka semakin sering freshbot bertandang.
Situs berita seperti BBC, CNN atau situs Marketplace Online seperti Ebay.com,
Amazon.com di crawl dalam hitungan menit (biasanya 10 menit sekali) setiap
harinya.
Setiap web yang sudah cukup lama online, umumnya mempunyai apa
yang disebut dengan Deeper Links. Kegunaannya adalah saat Freshbot menemukan web tersebut saat
berkunjung, ia akan memberi perintah deeper link dalam database daftar antri
(Queue) Google untuk website tersebut, dan membiarkan DeepCrawl beraksi
nantinya.
DeepCrawl bot. Bot ini diatur untuk melakukan crawl
kemungkinan tiap satu bulan sekali. Sebelum ia beraksi, ia terlebih dahulu
mengecek semua deeper link yang telah antri(Queue) dalam database, lalu ia
menggunakannya sebagai referensi saat meng-crawl sebuah web. Di karenakan, ia
diprogram untuk melakukan kunjungan tiap satu bulan sekali, maka diperlukan
waktu satu bulan agar seluruh konten blog kita terindeks. Update Pagerank
sebuah web erat kaitannya dengan kedatangan Deepcrawlbot. >>>>> : saya belum
bisa memastikan sekarang apakah masih tetap 1 bulan seperti tahun-tahun
sebelumnya atau 3 bulan sekali bersamaan dengan update pagerank Google sekarang
ini)
Bagaimana
mengenali/mengetahui kedatangan freshbot dan deepcrawl bot:
Untuk mengenalinya tentu saja melalui IP Address, biasanya IP
address freshbot dimulai dengan 64,
dan Deepcrawlbot dimulai dengan 216.
Dan keseluruhan bentuk ipnya seperti ini:
Freshbot IP:
·
64.208.32.4.
·
64.68.82.0-255
·
64.68.82.47
Deepcrawlbot IP:
·
216.239.45.4
·
216.239.46.0-255
·
216.239.46.53
Jadi saat anda melihat ip address di awali dengan 216 berulang
kali muncul di statistik web anda. Itulah yang dinamakan Google Dance (Google “berdansa”), untuk mengkalkulasi ulang
PR, Backlinks dan ranking kemunculan blog anda di SERP, yang hasil dari semua
kalkulasi tersebut adalah UPDATE PAGERANK!
