robots.txt: агент закрывает весь сайт, чтобы «SEO потом»

Disallow / на проде — катастрофа. Staging отдельно.

Прод индексируется. Staging — noindex.

Как

Хост в ТЗ. Не копировать staging robots на бой.

После

curl роботс и sitemap.

См. также: sitemap.

Мы используем файлы cookie для того, чтобы предоставить пользователям больше возможностей при посещении сайта. Оставаясь на сайте, Вы соглашаетесь на обработку файлов cookie. Подробнее об условиях использования.