![Блог [SEO Jedi]](https://promotiger.ru/wp-content/uploads/2021/10/icons-prozr.png){kind=icon}
Директива для роботов (Crawler directive) — Директивы сканера — это инструкции, заданные веб-мастерами, которые помогают сканерам поисковых систем получать доступ к страницам веб-сайта и индексировать их. Общие директивы включают файлы robots.txt и метатеги, такие как noindex, определяющие внешний вид контента в результатах поиска.
