Co to jest Crawler - definicja

Crawler (Robot internetowy lub robot indeksujący) –jest to program, bot który zbiera informacje o stronach internetowych, takie jak struktura, treści czy kod źródłowy.

Crawler (Robot internetowy lub robot indeksujący) –jest to program, bot który zbiera informacje o stronach internetowych, takie jak struktura, treści czy kod źródłowy. Roboty jak crawler ten poruszają się w sieci po linkach, które zawarte są w kodzie źródłowym na każdej stronie internetowej.

Im częściej crawler odwiedza stronę tym bardziej przyśpiesza indeksowanie jej poszczególnych podstron, oraz zwiększa pozycje w wyszukiwarkach. Prawidłowe linkowanie wewnątrz serwisu umożliwia dostęp do odwiedzenia istotnych podstron przez crawler.

Crawlery są również wykorzystywane w eksploracji danych, gdzie analizowane są strony pod kątem różnych statystyk, a następnie przeprowadzana jest na nich analiza danych.

Maciej Kudziela

Specjalista PPC

Specjalista performance marketingu z pragmatycznym podejściem. Pasjonat angielskiej piłki i obcowania z naturą.

Jesteśmy dumni ze zrobienia kolejnego kroku na ścieżce rozwoju Agencji. Jest to uzyskanie statusu Pracodawcy DIMAQ, potwierdzającego kompetencje naszego zespołu, za którymi idzie wysoka jakość usług, jakie świadczymy Klientom i Partnerom. Co to jest DIMAQ? DIMAQ, czyli Digital Marketing Qualification, jest międzynarodowym standardem kwalifikacji marketingu cyfrowego. Certyfikacja obejmuje 12 dziedzin marketingu cyfrowego i jest potwierdzeniem […]
Jeszcze do niedawna Klienci i Partnerzy znali nas jako Webrange. Obecnie jesteśmy RANGE – nazwa, chociaż podobna, to jednak dużo więcej znaczy i lepiej nas opisuje. Zapraszamy na krótką podróż po rebrandingu, gdzie opowiemy Wam co, jak i dlaczego zrobiliśmy. 3… Rok 2008 przyniósł ze sobą kilka kamieni milowych. Barack Obama został prezydentem USA, przez świat […]
Rozpisanie przetargu na działania marketingowe w Internecie wydaje się raczej proste – formułujemy swoje oczekiwania, publikujemy je w odpowiednim miejscu, czekamy na oferty i wybieramy najlepszą. Jeżeli jednak choć raz rzeczywiście zajmowałeś się stworzeniem zamówienia publicznego, to wiesz, że sprawa jest znacznie bardziej skomplikowana. Otrzymujesz mnóstwo ofert kompletnie rozmijających się z twoim budżetem […]