Почему Google индексирует заблокированные веб-страницы

Джон Мюллер из Google объяснил, почему Google индексирует блокированные страницы, и почему отчеты Search Console, связанные с этим, можно безопасно игнорировать.

Джон Мюллер из Google ответил на вопрос о том, почему Google индексирует страницы, которые запрещены для выполнения обхода с помощью файла robots.txt, и из-за чего можно пропускать соответствующие отчеты Search Console об этих обходах.

Трафик ботов к URL-адресам с параметрами запроса

Человек, задающий вопрос, задокументировал, что боты создают ссылки на несуществующие URL-адреса с параметрами запросов (?q=xyz) на страницы с мета-тегами noindex, которые также закрыты в robots.txt. Вопрос был вызван тем, что Google обходит эти ссылки на страницы, блокируется в robots.txt (не замечая мета-тег noindex), а затем сообщает об этом в Google Search Console как "Индексируется, хотя заблокировано robots.txt."

Человек поинтересовался следующий вопрос:

"Но вот главный вопрос: почему Google индексирует страницы, когда он не может ознакомиться с содержимое? В чем тут выгода?"

Джон Мюллер из Google подтвердил, что если они не могут обойти страницу, они не могут увидеть мета-тег noindex. Он также заметил оператор site:search, посоветовав пропускать результаты, потому что "средние" пользователи не наблюдают их.

Он написал:

"Да, вы правы: если мы не можем просканировать страницу, мы не можем наблюдать noindex. Тем не менее, если мы не можем рикжаться страницы, для нас там мало что можно индексировать. Так что, хотя вы можете заметить некоторые из этих страниц с помощью целевого запроса site:, средний пользователь их не заметит, поэтому я бы не переживал. Noindex также работает (без запрета в robots.txt), это просто означает, что URL-адреса будут обходиться (и попадут в отчет Search Console как 'обойдены/не индексируются' — ни один из этих статусов не приводит к проблем для остальной части сайта). Важно, чтобы вы не делали их доступными для обхода и индексации."

Связанный: Google советует сайтам использовать файл robots.txt для блокировки URL-адресов действий.

Выводы:

1. Ответ Мюллера подтверждает пределы использования оператора Site:search для диагностических целей. Одной из причин является то, что он не связан с обычным поисковым индексом, это совсем отдельная штука.

Джон Мюллер из Google прокомментировал оператор site search в 2021 году:

"Короткий ответ заключается в том, что запрос site: не предназначен для полноты, а также для диагностических целей.

Запрос site: — это определенный вид поиска, который ограничивает результаты определенным веб-сайтом. Это, по сути, просто слово "site", двоеточие и затем домен веб-сайта.

Этот запрос ограничивает результаты конкретным веб-сайтом. Он не предназначен для того, чтобы быть исчерпывающей подборкой всех страниц этого сайта."

Оператор site не отражает индекс поиска Google, что превращает его ненадежным для выяснения того, какие страницы Google уже проиндексировал или нет. Как и другие операторы расширенного поиска Google, они ненадежны как инструменты для выяснения любых вопросов, связанных с тем, как Google оценивает или индексирует контент.

2. Мета-тег noindex без применения robots.txt подходит для таких ситуаций, когда бот разрабатывает ссылки на виртуальные страницы, которые идентифицируются Googlebot.

Мета-тег noindex на страницах, которые не закрываются в robots.txt, разрешает Google обойти страницу и прочитать директиву noindex, гарантируя, что страница не отобразится в поисковом индексе, что желательно, если цель состоит в том, чтобы не допустить страницу в поисковый индекс Google.

3. URL-адреса с мета-тегом noindex внесут в Search Console запись "обойдены/не индексируются", что не вызовет негативного результата на остальную часть веб-сайта.

Эти записи в Search Console, в контексте страниц, которые целенаправленно заблокированы, лишь указывают на то, что Google обошел страницу, но не включил в индекс. По сути говоря, что это имело место, а не то, что (в этом специфическом контексте) есть что-то, что нужно поправить. Эта запись полезна для уведомления издателей о страницах, которые непреднамеренно заблокированы мета-тегом noindex или по какой-либо другой причине, не допускающей индексации страницы. Тогда это стоит изучить.