Crawler (Robot internetowy lub robot indeksujący) –jest to program, bot który zbiera informacje o stronach internetowych, takie jak struktura, treści czy kod źródłowy. Roboty jak crawler ten poruszają się w sieci po linkach, które zawarte są w kodzie źródłowym na każdej stronie internetowej.
Im częściej crawler odwiedza stronę tym bardziej przyśpiesza indeksowanie jej poszczególnych podstron, oraz zwiększa pozycje w wyszukiwarkach. Prawidłowe linkowanie wewnątrz serwisu umożliwia dostęp do odwiedzenia istotnych podstron przez crawler.
Crawlery są również wykorzystywane w eksploracji danych, gdzie analizowane są strony pod kątem różnych statystyk, a następnie przeprowadzana jest na nich analiza danych.
