Wat is een crawler?

Een crawler of spider doorzoekt methodisch en geautomatiseerd alle publiekelijk toegankelijke pagina's op het internet. De resultaten worden verwerkt en geïndexeerd om zoekopdrachten te kunnen beantwoorden in zoekmachines. Crawlers of spiders doorbladeren op regelmatige basis webpagina's om hun index actueel te houden.