Bagaimana Search Engine Bekerja?

Satu hal kenapa anda harus mempelajari tentang SEO adalah search engine
bukan manusia. Tidak seperti manusia, search engine tidak diatur oleh teks.
Walaupun teknologi berkembang dengan cepat, search engine bukanlah makhluk
yang cerdas yang bisa “merasakan” keindahan dari desain sebuah website. Search
engines melakukan banyak pekerjaan untuk mendapatkan hasil pencariannya,
seperti – crawling, indexing, processing, calculating relevancy dan retrieving.

Pertama, search engines meng-crawl website untuk melihat apa yang ada di
halaman website. Tugas ini dilakukan oleh software kecil yang disebut crawler
atau spider (atau googlebot, yang dipakai Google). Spider ini mengikuti link dari
satu halaman ke halalman lainnya dan meng-index (mennyusun) semua link
yang ditemukan. Ingat, jumlah halaman-halaman website lebih dari 20 miliar,
jadi tidak mungkin untuk spider mengunjungi suatu website setiap hari hanya
untuk melihat apakah websitenya tampil atau sudah dimodifikasi. Kadang
crawler tidak mengunjungi website anda sampai sebulan bahkan lebih, saat seperti ini usaha optimalisasi search engine tidak bermanfaat, jadi anda hanya
tinggal menunggu sampai di-crawl lagi.

Apa yang bisa anda lakukan adalah mengetahui apa yang dilihat oleh crawler.
Seperti yang sudah disebutkan, crawlers bukan manusia dan mereka tidak
melihat gambar, flash, atau javascript, jadi jika anda memasang bermacammacam
fitur di website anda, sebaiknya menggunakan Spider Simulator untuk
melihat apakah fitur-fiutr ini dapat dilihat oleh spider. Jika tidak dapat dilihat
maka tidak akan diproses spider, tidak di-index dll. Dengan kata lain tidak search
engine friendly.

Setelah halaman di-crawl, langkah selanjutnya adalah di-index. Halaman yang
di-index disimpan di database yang sangat besar, yang bisa dilihat/diambil
kembali. Proses indexing adalah mengidentifikasi kata-kata dan ekspresi yang
sesuai menggambarkan halaman website. Kadang proses ini tidak mendapatkan
informasi tentang isi website dengan tepat tapi jika anda membantu proses ini
dengan mengoptimalkan, akan lebih memudahkan untuk klasifikasi halaman
website juga untuk ranking lebih tinggi.

Saat ada permintaan search, search engine akan memproses – membandingkan
kata yang diketikkan di search engine dengan kata di halaman yang sudah
terindeks dalam database. Karena ada lebih dari miliaran halaman yang juga
memiliki kata yang sama, search engine akan menghitung relevansi dari
setiap halaman yang sudah terindeks.

Ada bermacam algoritma untuk menghitung relevansi. Setiap algoritma ini
memiliki perbedaan bobot relatif untuk faktor umum seperti tingkat kepadatan
keyword, link atau metatag. Itulah sebabnya search engine satu memberikan
hasil yang berbeda dari search engine lainnya untuk keyword yang sama.
Faktanya search engine besar seperti Yahoo!, Google, MSN, dll. secara periodik
merubah algoritma dan jika anda ingin tetap di atas, anda juga harus
menyesuaikan halaman website anda dengan perubahan algoritma terakhir.
Inilah alasan mengapa anda harus terus melakukan usaha optimalisasi search
engine jika ingin tetap di urutan atas.

Langkah terakhir search engine adalah retrieving/memunculkan hasilnya,
yaitu menampilkan hasilnya di browser, mulai dari yang paling relevan sampai
yang paling kecil relevansinya.

Sumber : Disini