XM8
← Все статьи
sitemaprobots.txtиндексация

sitemap.xml и robots.txt: правила для Google и Яндекса

Карта сайта и robots — первое, что проверяют краулеры. Как собрать sitemap для мультиязычного Next.js и не закрыть лишнее в robots.

7 мин

sitemap.xml — не гарантия индексации, но карта приоритетов. robots.txt — не блокировка «от конкурентов», а инструкция ботам, что можно обходить. Ошибки в обоих файлах тормозят появление новых страниц в выдаче на недели.

sitemap для Next.js

  • app/sitemap.ts генерирует URL из роутов, блога и услуг
  • lastmod из даты публикации или modified статьи
  • alternates с hreflang внутри каждого url-entry
  • Разделение: отдельные sitemap для блога при 500+ URL

robots.txt под RU-рынок

  • Директива Host: https://example.ru для Яндекса
  • Sitemap: полный URL карты сайта
  • Disallow только для /api, черновиков, служебных путей
  • Не блокируйте /_next/static — иначе сломаете рендер в отчётах

После деплоя отправьте sitemap в Google Search Console и Яндекс Вебмастер. Проверьте отчёт «Покрытие» / «Индексирование» через 3–7 дней.

Частые вопросы

Нужен ли robots.txt, если всё в noindex?
Да. robots управляет обходом; noindex — показом в выдаче. Для закрытых разделов используйте оба механизма осознанно.
Как часто обновлять sitemap?
При каждом деплое с новыми URL или при публикации статьи. lastmod должен отражать реальное изменение контента.

Читайте также

Обсудить проект