Поисковый робот (краулер) (Crawler) — Краулер (или бот) — это автоматизированная программа, используемая поисковыми системами для обнаружения и индексирования веб-контента. Сканеры систематически просматривают Интернет для сбора информации, внося свой вклад в индексы поисковых систем, используемые для ранжирования.






