X-роботы-тег (X-robots-tag)

X-роботы-тег (X-robots-tag) — X-Robots-Tag — это HTTP-заголовок, используемый для передачи поисковым системам инструкций по индексированию и сканированию веб-страниц и файлов. Он позволяет веб-мастерам более гибко контролировать взаимодействие поисковых систем с конкретным контентом по сравнению с традиционным мета-тегом роботов, присутствующим в HTML. Например, X-Robots-Tag может указывать такие действия, как «noindex», «nofollow» или «noarchive». Этот заголовок особенно полезен для файлов, отличных от HTML (например, PDF-файлов), или когда требуется детальный контроль над поведением сканирования.