CRAWLER

Pengertian Crawler 

Crawler adalah robot milik search engine yg tugasnya mengumpulkan informasi pada halaman blog/web dan semua media internet yg bisa diindeks oleh search engine. 

Cara Kerja Crawler

Pertama robot mengumpulkan informasi pada halaman blog/web dan semua media internet yg bisa diindeks oleh search engine. Robot tersebut kemudian membawa informasi yg didapatnya ke data center. Di data center, data tersebut kemudian di oleh sedemikian rupa, apabila memenuhi persyaratan, maka dia akan dimasukkan ke dalam indeks. Nah, proses yg dilakukan oleh user search engine adalah memanggil indeks-indeks tersebut, apabila indeks2 memiliki kesesuaian dengan yg dicari user (dan bila memiliki peringkat yg baik), di akan ditampilkan di halaman utama search engine (berperingkat).

Sumber : http://bie-wellca.blogspot.co.id/2013/04/pengukuran-web-crawler-search-engine.html