Crawler

Crawler, nazywany też pająkiem lub botem indeksującym, to oprogramowanie, którego zadaniem jest pozyskiwanie informacji na temat stron www i ich indeksowanie. Crawlery badają ich kod, strukturę i zawartość. Dzięki nim wyszukiwarki pokazują użytkownikom witryny internetowe, które najlepiej odpowiadają na treść ich zapytania i ułatwiają sprawne poruszanie się po sieci. Do najbardziej znanych crawlerów należy Googlebot.

Crawler – co to takiego i jak działa?

Crawler to swojego rodzaju filtr, przez który przepuszczane są miliony danych i stron www w celu wyłonienia tych najlepszych i najbardziej wartościowych w odniesieniu do zapytania wpisanego w pole wyszukiwarki. Crawler zbiera informacje w sieci, sprawdza aktualizacje, bada struktury witryn, treści i ogólny kontent stron, a dodatkowo analizuje ich kody źródłowe. Wszystko po to, by szybko i trafnie wyszukać interesujące nas informacje. 

Deep Crawl i Fresh Crawl – czym się różnią?

W Internecie mamy do czynienia z niekończącą się ilością stron. Crawlery nie byłyby w stanie indeksować ich wszystkich za każdym razem, dlatego wyróżnia się dwa typy skanowania zasobów w sieci.

• Deep Crawl – jak sama nazwa wskazuje to dogłębna analiza całej witryny, która obejmuje analizę całej jej struktury, zawartości, aż po kod źródłowy.
• Fresh Crawl – to badanie stron, które często są aktualizowane. W tym przypadku crawler analizuje tylko obszary, które zostały poddane modyfikacji, a nie całość witryny.