Cara Kerja
Web Crawler
Web crawler atau yang dikenal juga dengan istilah web spider
bertugas untuk mengumpulkan semua informasi yang ada di dalam halaman web. Web
crawler bekerja secara otomatis dengan cara memberikan sejumlah alamat website
untuk dikunjungi serta menyimpan semua informasi yang terkandung didalamnya.
Setiap kali web crawler mengunjungi sebuah website, maka web crawler tersebut
akan mendata semua link yang ada dihalaman yang dikunjunginya itu untuk
kemudian di kunjungi lagi satu persatu. Proses web crawler dalam
mengunjungi setiap dokumen web disebut dengan web crawling atau spidering.
Beberapa websites, khususnya yang berhubungan dengan pencarian menggunakan
proses spidering untuk memperbaharui data data mereka. Web crawler biasa
digunakan untuk membuat salinan secara sebagian atau keseluruhan halaman web
yang telah dikunjunginya agar dapat di proses lebih lanjut oleh system
pengindexan. Crawler dapat juga digunakan untuk proses pemeliharaan sebuah
website, seperti memvalidasi kode html sebuah web, dan crawler juga digunakan
untuk memperoleh data yang khusus seperti mengumpulkan alamat e-mail.
Web crawler termasuk kedalam bagian software agent atau yang
lebih dikenal dengan istilah program bot. Secara umum crawler memulai prosesnya
dengan memberikan daftar sejumlah alamat website untuk dikunjungi, disebut
sebagai seeds. Setiap kali sebuah halaman web dikunjungi, crawler akan mencari
alamat yang lain yang terdapat didalamnya dan menambahkan kedalam daftar seeds
sebelumnyaSumber : http://clickforgamers.blogspot.sg/2013/04/pengukuran-web-crawler-search-engine.html
Tidak ada komentar:
Posting Komentar