Web Crawler atau yang sering kita kenal dengan sebutan Web Spider atau Web Robot merupakan suatu aplikasi dimana kita dapat membandingkan beberapa web yang terdapat di internet Web Crawler berkerja secara otomatis dengan membandingkan beberapa alamat website yang sering dikunjungi dan akan secara otomatis menyimpan semua bagian file yang terdapat didalamnya dalam folder komputer kita.

Proses mengunjungi setiap dokumen pada web clawler disebut dengan web crawling atau spidering. dari penganalisaan data pada web clawler kita bisa memvalidasi kode HTML dan juga mengumpuulkan alamat e-mail website yang kita analisa.
![]() |
gambar1 |

lalu masukkan alamat website kfc pada command list
lalu beri ceklis pada cekbox
dan tekan command button ok, maka data akan langsung diproses setelah selesai akan ada menghasilkan tampilan seperti gambar2
![]() | ||||
gambar2 |

sumber:
- http://www.google.co.id/url?sa=t&rct=j&q=pengertian%20web%20crawler&source=web&cd=5&sqi=2&ved=0CDoQFjAE&url=http%3A%2F%2Faqwam.staff.jak-stik.ac.id%2Ffiles%2Fd.-adaftiv-softskill[3].doc&ei=48h1T9DUFsL5rAfspf2aDQ&usg=AFQjCNEPX8E4NS7e3MUU1WBdjGqRrVeR6g&cad=rja
- http://www.google.co.id/url?sa=t&rct=j&q=pengertian%20web%20crawler&source=web&cd=3&sqi=2&ved=0CC0QFjAC&url=http%3A%2F%2Fwww.unisbank.ac.id%2Fojs%2Findex.php%2Ffti1%2Farticle%2Fdownload%2F97%2F92&ei=48h1T9DUFsL5rAfspf2aDQ&usg=AFQjCNET4eraTFdCpnnrPxYCtTb4GMOobQ&cad=rja