Как проверить индексацию сайта и найти причины проблем

Почему site: не показатель

Запрос вида site:example.kz показывает часть адресов, которые поисковик знает о сайте. Google прямо пишет, что оператор site: не обязательно возвращает все проиндексированные URL, а у больших сайтов список заведомо неполный. Число результатов к тому же меняется от запроса к запросу.

Для быстрой проверки оператора хватает, решения принимайте по данным Search Console и Яндекс Вебмастера.

Проверка в инструментах владельца сайта

Инструмент проверки URL

Начните с конкретного адреса. В Search Console вставьте URL в строку поиска сверху. Инструмент покажет, есть ли страница в индексе, как Google её нашёл, какой канонический адрес указали вы и какой выбрал Google, когда было последнее сканирование.

Кнопка «Проверить страницу на сайте» тестирует текущую версию: отвечает ли сервер кодом 200, не мешает ли robots.txt, что видит робот после обработки страницы. «Запросить индексирование» полезно после исправления, но попадание в индекс не гарантирует.

Отчёт «Индексирование страниц»

В меню Индексирование → Страницы видно сайт целиком: сколько адресов проиндексировано, сколько нет и по каким причинам. Смотрите на динамику и на примеры URL внутри каждой причины.

Сравнивайте цифру с ожидаемой. Если в каталоге 800 товаров и 60 категорий, а в индексе 300 страниц, часть сайта выпала. Если в индексе 9 000 адресов, скорее всего, туда попали дубли от фильтров и параметров.

Статусы в отчёте Google и что с ними делать

Ниже названия причин по справке Search Console. В интерфейсе формулировки иногда немного отличаются.

Яндекс Вебмастер

По Statcounter за август 2026 на Яндекс в Казахстане приходится около 28% поиска, в Узбекистане около 24%. Смотреть только Google значит не видеть заметную часть аудитории. Подробнее о рынке в статье SEO в Казахстане.

В Вебмастере откройте Индексирование → Страницы в поиске и переключитесь на исключённые страницы. Там указаны причины: «Малоценная или маловостребованная страница», дубль, неканоническая страница, запрет в robots.txt или метатегом noindex, ошибки загрузки.

Для отдельного адреса есть инструмент проверки страницы, для исправленных страниц «Переобход страниц». Малоценными у Яндекса часто оказываются карточки без описания и страницы под запросы, которые почти не ищут. Их объединяют, наполняют или закрывают от индексации. Сверяйте данные двух систем: страница может быть в индексе Google и исключена в Яндексе.

Причины и способы проверки

Сопоставьте статус URL, доступность обхода, noindex, canonical, редиректы и возможные дубли. Затем проверьте, можно ли дойти до страницы по внутренним ссылкам и есть ли у неё самостоятельная ценность.

Внутренние ссылки

Страницу без ссылок с сайта робот находит хуже, даже если она есть в sitemap. Так теряются услуги клиники, добавленные «для рекламы», или филиалы без ссылки из меню. Товару, до которого пять-шесть кликов через пагинацию, добавьте путь покороче: подкатегорию, блок «Похожие» или ссылку из статьи.

robots.txt, noindex и sitemap

Это разные инструменты. robots.txt управляет сканированием: запрещает роботу заходить на адрес. noindex управляет индексом: робот страницу видит, но в поиск не берёт.

Частая ошибка: закрыть страницу и в robots.txt, и через noindex. Google предупреждает, что при блокировке в robots.txt робот не увидит noindex, и адрес может остаться в индексе, например из-за внешних ссылок. Чтобы убрать страницу из поиска, откройте её для сканирования и оставьте noindex.

Проверяйте robots.txt после каждого релиза. Строка Disallow: / с тестовой версии, случайно выкаченная на рабочий сайт, закрывает всё. В кейсе производителя упаковки в Бишкеке аудит нашёл закрытый от индексации каталог, после исправления страниц в индексе стало 1 040 вместо 180.

Sitemap

Файл sitemap помогает поисковику найти адреса, но не заставляет их индексировать. В нём должны быть только канонические страницы с кодом 200, без редиректов, noindex и параметров. Добавьте его и в Search Console, и в Вебмастер.

Удобно разбить sitemap по типам: категории, товары, статьи. Тогда видно, в каком разделе разрыв между отправленными и проиндексированными страницами.

Рендеринг JavaScript

Google обрабатывает страницы в три этапа: сканирование, рендеринг и индексирование. Если текст и ссылки появляются только после выполнения скриптов, страница ждёт очереди на рендеринг, и часть данных может не дойти до индекса.

Как проверить: в инструменте проверки URL запустите проверку страницы на сайте и откройте HTML после обработки. Ищите там текст, цены и ссылки на товары. Второй способ проще: отключите JavaScript в браузере и посмотрите, что осталось.

Типичные проблемы:

• каталог подгружает товары кнопкой «Показать ещё», а отдельных URL для следующих страниц нет;
• ссылки сделаны через обработчик клика вместо обычной ссылки с href;
• title и canonical меняет скрипт, и они расходятся с исходным HTML;
• одностраничное приложение с адресами через решётку (#/catalog).

Яндекс тоже умеет обрабатывать JavaScript, но надёжнее, когда основной контент и ссылки есть в исходном HTML.

Пагинация и фильтры в интернет-магазинах

Фильтры по бренду, цене, размеру и сортировке порождают тысячи адресов. Google называет это фасетной навигацией и предупреждает: число URL растёт взрывообразно, робот тратит время на варианты и позже находит новые товары.

• Решите, какие фильтры нужны в поиске. Обычно это комбинации со спросом: «шины Michelin R16», «запчасти Toyota Camry». Для них делают полноценные посадочные с понятным URL, заголовком и текстом.
• Сортировки и служебные параметры (?sort=, ?view=) закрывают от сканирования или склеивают через canonical.
• Пустые комбинации без товаров отдают 404.
• Страницы пагинации оставляйте доступными и связывайте обычными ссылками. Google не советует ставить на них canonical на первую страницу: у каждой страницы должен быть свой.

В кейсе магазина автозапчастей в Алматы каталог перестроили по схеме «марка → модель → узел» и убрали 1 900 дублей, трафик вырос в 2,7 раза за 7 месяцев. О структуре каталога подробнее в статье про SEO категорий интернет-магазина.

Симптом, где смотреть, что делать

Шпаргалка по ситуациям, с которыми владельцы сайтов приходят чаще всего.

Как передать исправление в работу

Задание разработчику должно включать пример URL, способ воспроизведения, текущее и ожидаемое поведение. Вот как выглядит такая задача у магазина одежды:

• Проблема: в индексе Google около 340 адресов с параметром ?sort=, приложены три примера.
• Как воспроизвести: открыть любую категорию и выбрать сортировку по цене.
• Сейчас: страница отвечает 200, canonical указывает сам на себя.
• Ожидается: canonical ведёт на категорию без параметра, в sitemap таких адресов нет.
• Как проверить: инструмент проверки URL показывает canonical категории.

После изменения повторите проверку тем же способом и отдельно наблюдайте за отчётами. Они обновляются с задержкой, поэтому оценивайте динамику через несколько недель.

Когда нужна расширенная диагностика

Большой каталог, сайт на JavaScript-фреймворке, переезд на новый домен или CMS, несколько языковых версий и системные дубли требуют более глубоких данных: логов сервера, полного сканирования сайта краулером, сравнения с sitemap.

Массовая отправка URL на переобход не заменяет устранение причины. Если проблема затрагивает сотни страниц, нужен технический аудит. Когда кроме индексации под вопросом структура и контент, удобнее полный SEO-аудит.

Частые вопросы

Следующий шаг

Если проблема затрагивает много страниц или причина неясна, начните с бесплатного разбора сайта. За 2 рабочих дня посмотрим Search Console и Вебмастер, найдём разделы, выпавшие из индекса, и объясним почему.

Дальше пришлём КП с фиксированной ценой. Исправления вносит наш разработчик, так что задачи не зависают между SEO-специалистом и программистом.

Источники

• Справка Search Console: отчёт об индексировании страниц
• Google Search Central: как заблокировать индексирование с помощью noindex
• Google Search Central: основы SEO для сайтов на JavaScript
• Google Search Central: пагинация и подгрузка контента
• Яндекс Вебмастер: почему страницы исключены из поиска