Ein Spider, auch Robot oder Crawler genannt, durchsucht Inhalte von Webseiten bzw. sucht nach Schlagwörtern auf Webseiten. Diese werden dann in Datenbanken gespeichert und können von Suchmaschinen verwendet werden.
Spider sind spezielle Bots, d. h. Computerprogramme, die selbstständig sich wiederholenden Aufgaben nachgehen. Diese Crawler gelangen von einer Website, der sogenannten Seed Page (Start-URL) über Hyperlinks auf andere URLs. So können theoretisch alle Seiten im World Wide Web erreicht werden.
Probleme gibt es vor allem bei Seiten, die über Suchmasken erreichbar sind. Auch zugangsbeschränkte Portale können von den Spidern nicht erfasst werden. Zudem stellen ständige Veränderungen im Internet, unterschiedliche Dokumenttypen und -versionen und das zunehmende Cloaking ein Problem dar.