Сканирование (краулинг) (Crawling) — Сканирование — это процесс, при котором боты поисковых систем сканируют Интернет для сбора данных о веб-страницах. Эта информация затем сохраняется в индексах, что позволяет поисковым системам находить релевантный контент для запросов пользователей.





