Crawler

Crawler je automaticky skript (robot), jehož úkolem je získávat data z webu, která jsou následně zpracovávána.

Robot vyhledávače se nazývají Web crawler, někdy také internet bot' či web spider. Účelem je jejich indexace.

Seznam robotů vyhledávačů

Každý crawler by měl dodržovat určité zásady a také se náležitě identifikovat pomocí User-agent v HTTP požadavku.

• AhrefsBot - robot Seo nástroje Ahrefs.
• Alexa Crawler - crawler Alexa.
• archive.org_bot - crawler projektu Archive.org.
• Baiduspider - tento robot je součástí projektů společnosti Baidu.
• Bingbot - získává data pro vyhledávač Bing od společnosti Microsoft.
• FacebookExternalHit - v momentě, kdy nějaký uživatel Facebook odkáže na internetovou stránku, je tato stránka navštívena tímto robotem a následně vytvořen náhled.
• Googlebot - získává výsledky pro vyhledávač Google.
• Google Feedfetcher - tento pod má za úkol procházet RSS a ATOM feedy, kdykoliv si je uživatel přidá na domovskou stránku Google anebo do Google Reader.
• SeznamBot - získává data pro vyhledávač Seznam.
• Yahoo! Slurp - crawler společnosti Yahoo! než jí přebral Microsoft. Jeho funkci pak nahradil Bingbot.
• YandexBot - získává data pro ruský vyhledávač Yandex.