Услуга
Служебные файлы сайта
Настройка robots.txt и sitemap.xml от 3.600 р. Правильные правила для роботов, карта сайта и проверка в Яндекс.Вебмастере.
Кому подходит
Сайт плохо индексируется
Робот не видит нужные страницы или видит лишние.
Нет sitemap.xml
Карта сайта не создана или устарела.
robots.txt закрывает лишнее
В правилах ошибка, которая режет трафик.
После переезда
Адреса изменились, а служебные файлы остались старыми.
Что входит
- Проверка текущих robots.txt и sitemap.xml.
- Правила для служебных разделов и параметров.
- Разрешение страниц, которые нужны в поиске.
- Генерация sitemap.xml.
- Разбивка карты на разделы при необходимости.
- Проверка кодов ответа и lastmod.
- Добавление карты в Яндекс.Вебмастер.
- Короткая инструкция по обновлению.
Процесс
Как проходит работа
- 01
Аудит
Смотрю файлы, индексацию и ошибки.
- 02
Правила
Собираю robots.txt под структуру сайта.
- 03
Карта
Генерирую sitemap.xml и проверяю адреса.
- 04
Проверка
Тестирую коды ответа и lastmod.
- 05
Вебмастер
Добавляю карту и проверяю индексацию.
Подробно
Об услуге
Настраиваю robots.txt и sitemap.xml: что робот может обходить, что закрыто, где лежит карта сайта и какие адреса отдаются в поиск.
Ошибка в robots.txt может закрыть весь сайт от индексации, а устаревший sitemap — привести робота на 404. Поэтому файлы проверяются вместе.
Мастерская
Статьи по теме
Вопросы
Частые вопросы
Что такое robots.txt и sitemap.xml?
robots.txt указывает роботам, что можно обходить, а что закрыто. sitemap.xml — карта сайта со списком страниц для индексации. Эти файлы работают в паре.
Можно ли сломать индексацию одним файлом?
Да. Случайный Disallow в robots.txt закрывает разделы или весь сайт от поиска. Ошибка в sitemap приводит робота на 404 и тратит краулинговый бюджет. Поэтому файлы проверяются вместе.
Нужен ли sitemap.xml, если сайт небольшой?
Для сайта до нескольких десятков страниц он не критичен, но полезен: робот быстрее находит новые и изменённые адреса. Для каталога и блога — обязателен.
Как часто обновлять карту сайта?
Автоматически при публикации новой страницы или товара. Если сайт на CMS, настраивается генерация. Для статики — пересборка после изменений и проверка lastmod.
Что входит в услугу?
Проверка текущих файлов, правила robots.txt, генерация sitemap.xml, разбивка на разделы при необходимости, проверка кодов ответа и lastmod, добавление в Вебмастер и инструкция. Стоимость 3 600 рублей.
Следующий шаг
Опишите задачу — отвечу в течение дня
Напишите, что нужно сделать: новый сайт, ремонт, ускорение или поддержка. Посмотрю сайт и назову срок и цену.
Без предоплаты за оценку задачи

